実験

実験は，学習データに単文コーパス1,000〜181,988文を用い，評価には単文を用 いる．結果を表8と図10に示す．なお，言語モデルの学習データ量は常に181,899文である．

表 8: 翻訳モデルと翻訳精度の関係(単文，言語モデル，181,988文)

翻訳モデル	Closed			Open
学習データ(文)	BLEU	NIST	METEOR	BLEU	NIST	METEOR
1,000	0.988	12.147	0.992	0.012	1.376	0.126
5,000	0.980	12.090	0.986	0.032	2.175	0.200
10,000	0.973	12.050	0.983	0.044	2.464	0.226
50,000	0.914	11.571	0.943	0.093	3.666	0.321
100,000	0.882	11.336	0.920	0.113	4.159	0.353
181,988	0.853	11.132	0.901	0.139	4.597	0.389

図 10: 翻訳モデルと翻訳精度の関係(単文，言語モデル，181,988文)

この結果から，Openテストにおいて，1,000文から5,000文の間で翻訳精度の向上が大 きいことがわかる．学習データ1,000文と181,988文で翻訳精度が変化した例を以 下に示す.

	翻訳モデルによる翻訳精度低下(Closed)の例1
入力文	私 は 今度 は ２ 年 に 戻る 。
正解文	Next time I will return 2 years time from now .
出力文(1,000文)	Next time I will return 2 years from now on .
出力文(181,988文)	The two years in my back .

	翻訳モデルによる翻訳精度向上(Open)の例1
入力文	彼 は 焼け死ん だ 。
正解文	He was burned to death .
出力文(1,000文)	He is the 焼け死ん .
出力文(181,988文)	He was burned to death .

	翻訳モデルによる翻訳精度向上(Open)の例2
入力文	彼女 は 公園 に 散歩 に 行く 。
正解文	She goes to the park for a walk .
出力文(1,000文)	She 散歩 行く to the park .
出力文(181,988文)	She go for a walk in the park .