提案システムより出力された情緒分布の信頼性を評価するため,人手による情緒 推定結果との比較を行う.比較対象は,提案システムにおいて適合パターンを得 た文からランダムサンプリングした500文とし,人手による情緒推定は協議者4名 によって行う.人手による情緒推定の結果得られた情緒の分布,および同じ500 文に対してシステムが出力した情緒の分布を図8に示す.図 8において,各行に人手により推定された情緒数,各列に提案シス テムによる出力情緒数を示している.例えば,3行2列目の``7''は,人手により 《好ましい》と推定したのに対して,提案システムが《喜び》と出力した文数を 示している.
図8における内訳を見ると,提案システムと人手の情緒推定結果が 一致した割合は,情緒《なし》が約6割(205/319)となったが,その他の情緒に関 しては約1割程度の一致にとどまった.そこで,今後さらなる分布調査の精度向 上のために,情緒があるにも関わらず情緒《なし》と出力された場合(124件) に ついて誤り分析を行う.