(1) 種類,内容,属性,確信性が一致するか
(2) 発生時刻がターン単位で一致するか
(3) 同ターン又は以前のターンで推定されているか
その評点は次の3段階があり,推定された該当注釈に与える.
◎:項目 1,および項目 2を満たすもの
〇:項目 1,および項目 3を満たすもの
システムの推定した発生時刻がコーパスの推定より早い場合をコーパス◯とし, その逆を推定結果◯とする.
×:上記以外
なお,評点が重なる場合は◎を優先する.
本システムが人間より先に推定した場合は過剰な推論の可能性があるため
◎と〇を区別している.
再現率=(◎の数+コーパス◯の数)/コーパス注釈数
適合率=(◎の数+推定結果◯の数)/推定結果釈数