評価方法

従来手法と提案手法を利用後の変換テーブルをランダムに100個抽出する. 抽出した変換テーブルに対して人手で正解もしくは誤りで2値評価する. 誤りと評価した数を誤り率とする. 誤り率の低さを精度の高さとして評価する.

変換テーブルの評価は置き換え可能性の評価が難しい. よって,翻訳に用いる際最も重要となるCDの対訳関係の正誤を評価する.

評価基準を以下に示す.

正解
CDの訳において助詞,冠詞を除いた単語の過不足がほぼ見られない
誤り
CDの訳において助詞,冠詞を除いた単語の過不足がある