実験

実験は，学習データに単文コーパス1,000〜181,899文を用い，評価には単文を用 いる．結果を表7と図9に示す．なお，翻訳モデルの学習データ量は常に181,988文である．

表 7: 言語モデルと翻訳精度の関係(単文，翻訳モデル，181,988文)

言語モデルの	Closed			Open
学習データ(文)	BLEU	NIST	METEOR	BLEU	NIST	METEOR
1,000	0.979	12.140	0.985	0.053	3.316	0.264
5,000	0.954	11.977	0.967	0.077	3.803	0.305
10,000	0.935	11.829	0.953	0.085	3.897	0.316
50,000	0.887	11.422	0.923	0.116	4.362	0.363
100,000	0.870	11.278	0.911	0.130	4.477	0.379
181,988	0.853	11.132	0.901	0.139	4.597	0.389

図 9: 言語モデルと翻訳精度の関係(単文，翻訳モデル，181,988文)

学習データを増加させることで，Closedテストでは翻訳精度が低下している．ま た，Openテストでは逆に向上している．学習データ1,000文と181,988文で翻訳精 度が変化した例を以下に示す．

	言語モデルによる翻訳精度低下(Closed)の例1
入力文	私 の 発案 により 計画 が 決まっ た 。
正解文	The announcement was met with shouts of approval .
出力文(1,000文)	The announcement was met with shouts of approval .
出力文(181,988文)	A cheer went up at the announcement .

	言語モデルによる翻訳精度向上(Open)の例1
入力文	彼 は 焼け死ん だ 。
正解文	He was burned to death .
出力文(1,000文)	He He perished in the flames .
出力文(181,988文)	He was burned to death .

	言語モデルによる翻訳精度向上(Open)の例2
入力文	ふたり は 肉体 的 な 関係 に あっ た 。
正解文	The two had a sexual relationship .
出力文(1,000文)	The two have met with a physical .
出力文(181,988文)	They had a physical relationship .