: 実験の結果
: 評価実験の方法
: 用いる文のルール
目次
評価は入力文と結合価パターンの意味を見て比べ、
意味が概ね同じ物であったなら正答とする。
本研究においては、正答であったとしても、複数の場合がある事が
認められたので、いくつかの場合に分けて評価する。
1)◎：導き出したパターンの意味が正しい場合
2)○：導き出したパターンは正しいが、類似のパターンが他にも存在する場合
3)△：導き出したパターンの意味で正しいが、別の意味のパターンでも
意味が通る場合
4)＊：形態素解析ミスによる意味の取り違いの場合、もしくは
格助詞が複数の意味を持つ為に正しい結合価パターンを導きだせなかった場合
5)×：点数計算で正しいパターンを導き出せなかった場合
正答率としては、△までを正答とし、それ以外は誤りとしている。
1)◎の例：勉強会を開く。
候補パターン1：(3 主体)が(1 全て)を開く。
候補パターン2：(3 主体)が(1223 式、行事)を開く。(正解)
パターン1の計算(深さ1＊3.5点)−(深さ3＊0.5点)=2点
パターン2の計算(深さ6＊3.5点)−(深さ3＊0.5点)=19.5点
点数計算上ではパターン2の方がパターン1より高いので
パターン2を正しいパターンとしている。
パターン1は(箱、扉等の開ける物)を開くという意味に対し
パターン2は(会議、会合等)を開く(開催する)という意味なので
意味的に入力文と合致するのはパターン2となる。
よって点数計算でパターン2を選出するのは正しいという事になり、◎の評価となる。
2)○の例：大会開催が決まった。
候補パターン1：(1 全て)が決まる。
候補パターン2：(1 全て)が(1 全て)[から、より、で]決まる。
3.2章で述べたパターンで、類似したパターンがある場合にあたる。
1、2とも、どちらの意味とも取れる。
3)△の例：軍隊は全滅する
候補パターン1：(1 全て)が全滅する(3点)
候補パターン2：(3 主体 535 動物)が(1 全て)を全滅する(8.5点)
この文の場合、候補パターン2を正解としており、
確かにパターン2の意味で取る事は可能である。
しかし、本来は別の意味での候補パターン1である可能性もある。
○とは異なり、明らかに意味が違うが、両方の意味で取れる場合の
パターンである。
＊、×については考察で述べる。
平成14年4月10日