next up previous contents
次へ: 結論 上へ: 翻訳モデルと翻訳精度の関係 戻る: 目的   目次

実験

実験は,学習データに単文コーパス1,000〜181,988文を用い,評価には単文を用 いる.結果を表8と図10に示す.なお,言語モデルの学習データ量は常に181,899文である.

表 8: 翻訳モデルと翻訳精度の関係(単文,言語モデル,181,988文)
翻訳モデル Closed Open
学習データ(文) BLEU NIST METEOR BLEU NIST METEOR
1,000 0.988 12.147 0.992 0.012 1.376 0.126
5,000 0.980 12.090 0.986 0.032 2.175 0.200
10,000 0.973 12.050 0.983 0.044 2.464 0.226
50,000 0.914 11.571 0.943 0.093 3.666 0.321
100,000 0.882 11.336 0.920 0.113 4.159 0.353
181,988 0.853 11.132 0.901 0.139 4.597 0.389

図 10: 翻訳モデルと翻訳精度の関係(単文,言語モデル,181,988文)
\includegraphics[scale=0.9, clip]{TMvsScore.eps}

この結果から,Openテストにおいて,1,000文から5,000文の間で翻訳精度の向上が大 きいことがわかる.学習データ1,000文と181,988文で翻訳精度が変化した例を以 下に示す.

  翻訳モデルによる翻訳精度低下(Closed)の例1
入力文 私 は 今度 は 2 年 に 戻る 。
正解文 Next time I will return 2 years time from now .
出力文(1,000文) Next time I will return 2 years from now on .
出力文(181,988文) The two years in my back .
   

  翻訳モデルによる翻訳精度向上(Open)の例1
入力文 彼 は 焼け死ん だ 。
正解文 He was burned to death .
出力文(1,000文) He is the 焼け死ん .
出力文(181,988文) He was burned to death .
   

  翻訳モデルによる翻訳精度向上(Open)の例2
入力文 彼女 は 公園 に 散歩 に 行く 。
正解文 She goes to the park for a walk .
出力文(1,000文) She 散歩 行く to the park .
出力文(181,988文) She go for a walk in the park .


next up previous contents
次へ: 結論 上へ: 翻訳モデルと翻訳精度の関係 戻る: 目的   目次
平成20年3月25日