next up previous
次へ: 考察 上へ: 評価実験 戻る: 評価基準

実験結果

実験結果はアルゴリズムの各段階での効果を比べるため, 手順ごとにN-bestで正解率を集計する. 実験1から実験3の結果を表1から表4に示す. 各手順の上段は完全一致,下段は人手による判定の結果である.

実験1の「(手順1)のみ」の結果より, (手順1)の動作が正常に行われたことがわかる.

実験2の「同音異義語の動詞を含む文」での結果において, 「(手順1)のみ」と「(手順4)まで」の結果の比較では, 正解率に多少の向上が見られる. 「全手順」を行った場合は,格段に正解率が上昇している.

実験2の「同音異義語の名詞を含む文」での結果では, 手順を踏まえるに従って正解率が上昇している. この結果より,本手法は同音異義語の名詞に特に効果があることがわかる.

実験3では,「全手順」を行った場合,正解率が向上している. よって,本手法は実際の文に対しても有効であることがわかる. しかし,「(手順4)まで」の結果を見ると, 「(手順1)のみ」の結果よりも正解率が低かった. 次章では,この理由について考察する.

表1:実験1の結果(クローズドテスト)
手順候補数 1位 〜4位 〜16位 〜32位
(手順1) 完全一致 83% 95% 98% 98%
のみ  人手判定 96% 98% 100% 100%
(手順2) 完全一致 78% 91% 93% 93%
まで 人手判定 95% 97% 99% 99%
(手順4) 完全一致 66% 79% 80% 80%
まで 人手判定 83% 85% 85% 85%
全手順 完全一致 79% 93% 94% 94%
人手判定 96% 99% 99% 99%

表2:実験2の結果(同音異義語の動詞を含む文)
手順候補数 1位 〜4位 〜16位 〜32位
(手順1) 完全一致 34% 55% 72% 73%
のみ 人手判定 55% 74% 88% 88%
(手順2) 完全一致 35% 56% 70% 71%
まで 人手判定 54% 74% 84% 84%
(手順4) 完全一致 35% 50% 54% 54%
まで 人手判定 58% 65% 67% 67%
全手順 完全一致 44% 62% 68% 68%
人手判定 67% 78% 83% 83%

表3:実験2の結果(同音異義語の名詞を含む文)
手順候補数 1位 〜4位 〜16位 〜32位
(手順1) 完全一致 36% 63% 77% 82%
のみ 人手判定 58% 83% 94% 98%
(手順2) 完全一致 37% 64% 78% 82%
まで 人手判定 61% 84% 95% 98%
(手順4) 完全一致 37% 60% 66% 67%
まで 人手判定 67% 80% 82% 83%
全手順 完全一致 42% 69% 79% 81%
人手判定 73% 89% 95% 97%

表4:実験3の結果(毎日新聞記事)
手順候補数 1位 〜4位 〜16位 〜32位
(手順1) 完全一致 52% 76% 82% 87%
のみ 人手判定 64% 79% 86% 91%
(手順2) 完全一致 52% 77% 83% 86%
まで 人手判定 63% 79% 86% 89%
(手順4) 完全一致 40% 57% 57% 57%
まで 人手判定 55% 60% 60% 60%
全手順 完全一致 58% 77% 78% 81%
人手判定 73% 81% 83% 86%


next up previous
次へ: 考察 上へ: 評価実験 戻る: 評価基準
平成16年4月15日