評価方法

再現率，適合率，$F$値，節単位の正解率で評価を行う．

$$再現率 R = \frac{正解タグと一致した回答タグ数}{正解タグの総数}$$

$$適合率 P = \frac{正解タグと一致した回答タグ数}{回答タグの総数}$$

$$F 値 = \frac{2 \times R \times P}{R + P}$$

$$節単位の正解率 = \frac{回答タグが正解タグと1つ以上一致した節数}{実験に使用した節数}$$

上記の評価値を9分類系，5分類系，3分類系の3系統について求める．この3系統 は，[6]においてコーパスの評価に使用されており，本研究ではこれに 倣うものとする．各分類系は以下の通りである．

9分類系：

《喜び》，《悲しみ》，《好ましい》，《嫌だ》，
《驚き》，《期待》，《恐れ》，《怒り》，《なし》

5分類系：

《P》，《N》，《A》，《S》，《なし》
※ 《P》は，《喜 び》，《好ましい》，《期待》に対応する．《N》は，《悲しみ》， 《恐れ》に対応する．《A》は，《嫌だ》，《怒り》に対応する．《S》 は《驚き》に対応する．

3分類系：

《Positive》，《Negative》，《なし》
※ 《Positive》 は，《喜び》，《好ましい》，《期待》に対応する．《Negative》 は，《悲しみ》，《嫌だ》，《恐れ》，《怒り》に対応する．《な し》は，《驚き》，9分類系の《なし》に対応する．

また，同じテストデータに対する人手の評価値との比較を行う．人手の評価値は，以 下の条件で正解タグを決定して求める．

初心者：

経験者6名の多数決（4名以上一致かつ2位まで）で正解タグを決定

経験者：

初心者と自身を除く5名の多数決（3名以上一致かつ2位まで）で正解タグを 決定