next up previous contents
次へ: 辞書化の精度 上へ: 実験結果 戻る: 実験結果   目次

情緒推定の精度

567に,辞書を用いた情緒推定, 初心者・経験者による情緒推定のそれぞれの評価値を示す.


表 5: 情緒推定の精度の評価値(9分類系)
推定者 再現率 適合率 $ F$ 節単位の正解率
本辞書 0.57 0.52 0.54 0.61
初心者 0.71 0.70 0.71 0.78
経験者 0.66〜0.85 0.63〜0.88 0.70〜0.79 0.79〜0.93


表 6: 情緒推定の精度の評価値(5分類系)
推定者 再現率 適合率 $ F$ 節単位の正解率
本辞書 0.66 0.62 0.64 0.66
初心者 0.90 0.85 0.87 0.92
経験者 0.87〜0.94 0.79〜0.96 0.85〜0.92 0.92〜0.97


表 7: 情緒推定の精度の評価値(3分類系)
推定者 再現率 適合率 $ F$ 節単位の正解率
本辞書 0.67 0.66 0.66 0.67
初心者 0.96 0.96 0.96 0.97
経験者 0.94〜0.99 0.95〜0.99 0.95〜0.98 0.97〜1.00

9分類系での情緒推定の$ F$値が0.54,人手の$ F$値が0.70〜0.79と,差が約0.2であっ た.$ F$値の0.54という値は,情緒を明示する用言パターンを対象としているこ とを考えれば,低い値といえる.5分類系,3分類系での推定値も,分類数が少な くなるにつれて差が開いている.

全分類系において精度が低くなった原因として,(1)辞書化の精度が低い(辞書 に付与されている情緒属性の誤り),(2)辞書のパターン数の不足(辞書の範囲 外に情緒を明示する表現が多くある)の2点が考えられる.そこで次に,119節 のテストデータのうち,パターンに適合した84節について評価を行う.


next up previous contents
次へ: 辞書化の精度 上へ: 実験結果 戻る: 実験結果   目次
平成19年3月12日