実験結果はアルゴリズムの各段階での効果を比べるため, 手順ごとにN-bestで正解率を集計する. 実験1から実験3の結果を表1から表4に示す. 各手順の上段は完全一致,下段は人手による判定の結果である.
実験1の「(手順1)のみ」の結果より, (手順1)の動作が正常に行われたことがわかる.
実験2の「同音異義語の動詞を含む文」での結果において, 「(手順1)のみ」と「(手順4)まで」の結果の比較では, 正解率に多少の向上が見られる. 「全手順」を行った場合は,格段に正解率が上昇している.
実験2の「同音異義語の名詞を含む文」での結果では, 手順を踏まえるに従って正解率が上昇している. この結果より,本手法は同音異義語の名詞に特に効果があることがわかる.
実験3では,「全手順」を行った場合,正解率が向上している. よって,本手法は実際の文に対しても有効であることがわかる. しかし,「(手順4)まで」の結果を見ると, 「(手順1)のみ」の結果よりも正解率が低かった. 次章では,この理由について考察する.
手順候補数 | 1位 | 〜4位 | 〜16位 | 〜32位 | |
(手順1) | 完全一致 | 83% | 95% | 98% | 98% |
のみ | 人手判定 | 96% | 98% | 100% | 100% |
(手順2) | 完全一致 | 78% | 91% | 93% | 93% |
まで | 人手判定 | 95% | 97% | 99% | 99% |
(手順4) | 完全一致 | 66% | 79% | 80% | 80% |
まで | 人手判定 | 83% | 85% | 85% | 85% |
全手順 | 完全一致 | 79% | 93% | 94% | 94% |
人手判定 | 96% | 99% | 99% | 99% |
手順候補数 | 1位 | 〜4位 | 〜16位 | 〜32位 | |
(手順1) | 完全一致 | 34% | 55% | 72% | 73% |
のみ | 人手判定 | 55% | 74% | 88% | 88% |
(手順2) | 完全一致 | 35% | 56% | 70% | 71% |
まで | 人手判定 | 54% | 74% | 84% | 84% |
(手順4) | 完全一致 | 35% | 50% | 54% | 54% |
まで | 人手判定 | 58% | 65% | 67% | 67% |
全手順 | 完全一致 | 44% | 62% | 68% | 68% |
人手判定 | 67% | 78% | 83% | 83% |
手順候補数 | 1位 | 〜4位 | 〜16位 | 〜32位 | |
(手順1) | 完全一致 | 36% | 63% | 77% | 82% |
のみ | 人手判定 | 58% | 83% | 94% | 98% |
(手順2) | 完全一致 | 37% | 64% | 78% | 82% |
まで | 人手判定 | 61% | 84% | 95% | 98% |
(手順4) | 完全一致 | 37% | 60% | 66% | 67% |
まで | 人手判定 | 67% | 80% | 82% | 83% |
全手順 | 完全一致 | 42% | 69% | 79% | 81% |
人手判定 | 73% | 89% | 95% | 97% |
手順候補数 | 1位 | 〜4位 | 〜16位 | 〜32位 | |
(手順1) | 完全一致 | 52% | 76% | 82% | 87% |
のみ | 人手判定 | 64% | 79% | 86% | 91% |
(手順2) | 完全一致 | 52% | 77% | 83% | 86% |
まで | 人手判定 | 63% | 79% | 86% | 89% |
(手順4) | 完全一致 | 40% | 57% | 57% | 57% |
まで | 人手判定 | 55% | 60% | 60% | 60% |
全手順 | 完全一致 | 58% | 77% | 78% | 81% |
人手判定 | 73% | 81% | 83% | 86% |