実験内容

本研究では，自動評価において，提案手法はベースラインよりスコアが高かったが，人手評価で差がないという結果になった．そこで，自動評価と人手評価で結果が異なる原因を調査した．実験は単文コーパスの提案手法の翻訳文を使用し，自動評価のスコア(METEOR，TER)と翻訳文を見て，自動評価ではスコアが高いが不自然な翻訳文が出力されている文を表6.1，自動評価ではスコアが低いが正しい翻訳文が出力されている文を表6.2に示す．なお，単文の提案手法でのMETEORの平均値は0.4617，TERの平均値は0.6820である．

表: スコアが高いが不自然な翻訳文の例

例1
スコア	METEOR：0.8217 ， TER：0.3333
入力文	当地 の 気候 は 彼 の 性 に 合わ なかっ た 。
翻訳文	The climate here that he did not agree with me .
参照文	The climate here did not agree with him .
例2
スコア	METEOR：0.9269 ， TER：0.3636
入力文	爆撃 で 町 全体 が 焼け野原 と 化し た 。
翻訳文	The whole town was turned into a was reduced to
	ashes in the bombing .
参照文	The whole town was reduced to ashes in the bombing .
例3
スコア	METEOR：0.7496 ， TER：0.8333
入力文	その 事故 は ２ ０ 人 の 命 を 奪っ た 。
翻訳文	The accident took two of his life .
参照文	The accident claimed twenty lives .

表: スコアは低いが正しい翻訳文の例

例1
スコア	METEOR：0.09837 ， TER：1.500
入力文	そんな こと は とても 信じ られ ない 。
翻訳文	I can't believe such a thing .
参照文	That beggars belief .
例2
スコア	METEOR：0.2307 ， TER：1.000
入力文	それ は 無理 な 注文 という もの だ 。
翻訳文	It is an unreasonable request .
参照文	That's asking too much .
例3
スコア	METEOR：0.2500 ， TER：0.6000
入力文	急速 に 衰弱 し て いる 。
翻訳文	He quickly wasted .
参照文	He is failing fast .