評価方法
従来手法と提案手法を利用後の変換テーブルをランダムに100個抽出する.
抽出した変換テーブルに対して人手で正解もしくは誤りで2値評価する.
誤りと評価した数を誤り率とする.
誤り率の低さを精度の高さとして評価する.
変換テーブルの評価は置き換え可能性の評価が難しい.
よって,翻訳に用いる際最も重要となるCDの対訳関係の正誤を評価する.
評価基準を以下に示す.
- 正解
- CとDの訳において助詞,冠詞を除いた単語の過不足がほぼ見られない
- 誤り
- CとDの訳において助詞,冠詞を除いた単語の過不足がある