先に作成した対話システム，インストラクションを用いて，被験者を用いた実験 を行う。被験者に対話システムを利用してもらい，その際の対話音声を録音し， 人手により書き起こしを行う。書き起こしたデータに形態素解析を行い，単語単 位，文単位のデータに変換する。また，形態素解析を失敗した単語については， 人手による補正を行う。尚，歌手名，曲名の固有名詞は個々のユーザによって異 なって当然であるため，制約効果という観点からすると，それぞれを一つの単語 として評価すべきと考え，それぞれを固有名詞歌手名，固有名詞曲名と統合して 扱う。そして，変換した対話データから単語出現頻度，文出現頻度を調べ，イン ストラクションの有無で比較を行う。