next up previous
: 実験の結果 : 評価実験の方法 : 実験の手順

人手による評価基準

評価は入力文と結合価パターンの意味を見て比べ、 意味が概ね同じ物であったなら正答とする。 本研究では、正答であったとしても、複数の場合がある事が 認められたので、いくつかの場合に分けて評価する。

1)◎:導き出したパターンの意味が正しい場合
2)○:導き出したパターンは正しいが、類似のパターンが他にも存在する場合
3)△:導き出したパターンの意味で正しいが、別の意味のパターンでも 意味が通る場合
4)*:形態素解析ミスによる意味の取り違いの場合か、 格助詞が複数の意味を持つ為に誤ったパターンを導いた場合
5)×:点数計算が不適切だった場合

正答率は△までを正答とし、*と×は誤りとする。




平成14年4月10日