next up previous contents
次へ: 実験結果 上へ: 情緒推定の精度 戻る: 入力データへの正解情緒の付与   目次

評価方法

情緒の推定精度は,適合率,再現率,F値によって評価する. 適合率はシステム出力の正解率,再現率は問題に対する取りこぼしの指標であり, 適合率は(5.2),再現率は(5.3)の式で表される. F値は適合率と再現率の調和平均であり,(5.4)の式を用いて算出する.

ここで,出題数は正解データの入力データ数(293個)を表し,出力数は機械が出力した情緒の総数を表し,一致数は正解データと機械が出力した情緒の一致数を表す.

\begin{displaymath}
適合率 = \frac{一致数}{出力数}
\end{displaymath} (5.2)


\begin{displaymath}
再現率 = \frac{一致数}{出題数}
\end{displaymath} (5.3)


\begin{displaymath}
F値 = \frac{2×適合率×再現率}{適合率+再現率}
\end{displaymath} (5.4)

ベースライン手法には以下の手法を用い,提案手法と比較する.

ベースライン手法1
Turneyらの手法である.つまり極性表現に``良い'',``悪い''を用い,コーパスの選択は行わない手法
ベースライン手法2
判断条件の真偽判定に評価極性を用いず,全て${\boldmath T}$とする手法



平成26年3月7日