正解データの作成

正解データの作成者は，本研究室の学生5名である． 作成者をそれぞれ，a者〜e者と呼ぶ． 各作成者には，1文単位で，入力文，および，情緒主と関連事物との関係の説明文を与える． これらから，作成者が情緒を1種類推定し，正解データとする． 9分類系，5分類系，3分類系それぞれに対して，正解データを作成する． 各分類系は，以下の通りである．

9分類系：

《喜び》，《悲しみ》，《好ましい》，《嫌だ》，《期待》，《恐れ》
       《怒り》，《驚き》，《なし》

5分類系：

《$P$（喜び，好ましい，期待）》，《$N$（悲しみ，恐れ）》，《$A$（嫌だ，怒り）》，
       《$S$（驚き）》，《なし》

3分類系：

《$Positive$（喜び，好ましい，期待）》，
       《$Negative$(悲しみ，恐れ，嫌だ，怒り)》，《なし（驚き，なし）》

5人分の正解データがあるので， のべ540文での実験である．

また，kappa値を用いて5名の作成者間の推定した情緒の一致率を評価する． 5名の作成者から2名を選出する組合せは10通りある． まず，それぞれの組合せに対し，2名の作成者間のkappa値を求める． 求めたkappa値を合計し，組合せ数である10で割ることで平均を求める． 求めた作成者2者間の平均を，5名の作成者間のkappa値とする． その結果，$\kappa$=0.43（9分類），$\kappa$=0.58（5分類），$\kappa$=0.79（3分類）であった．

表6.1に実験で用いた入力文， および，情緒主と関連事物との関係， 作成者a者〜e者の推定の一部を示す．

たとえば，#1では5人全員が《喜び》を推定している． #98では，a者とd者が《悲しみ》を推定し， b者とe者が《嫌だ》を， c者が《怒り》をそれぞれ付与している． #1のように，全員が同一の情緒を推定することもあれば， #98のように複数の種類に意見が分かれたりすることもある．

表: 正解データ（一部）