next up previous contents
次へ: 校正前の評価結果 上へ: 誤り箇所の抽出 戻る: 誤り箇所の抽出   目次

評価基準

コーパスの注釈が推定結果に含まれているか否かにより,再現性の評価を行なう. そのための評価基準として[有田03]と同じものを用いた.

(1) 種類,内容,属性,確信性が一致するか

(2) 発生時刻がターン単位で一致するか

(3) 同ターン又は以前のターンで推定されているか
その評点は次の3段階があり,推定された該当注釈に与える.

◎:項目 1,および項目 2を満たすもの

〇:項目 1,および項目 3を満たすもの

システムの推定した発生時刻がコーパスの推定より早い場合をコーパス◯とし, その逆を推定結果◯とする.

×:上記以外
なお,評点が重なる場合は◎を優先する. 本システムが人間より先に推定した場合は過剰な推論の可能性があるため ◎と〇を区別している.
再現率=(◎の数+コーパス◯の数)/コーパス注釈数
適合率=(◎の数+推定結果◯の数)/推定結果釈数



平成16年4月17日