自動評価と人手評価に差異がある翻訳例

表に，ハイブリッド翻訳とルールベース翻訳において， 自動評価と人手評価の差異が確認できた例を示す． また句に基づく統計翻訳と階層型統計翻訳についても表，表に示す． なお，()内はBLEUのスコアを示す．

=8pt

表: ルールベース翻訳とハイブリッド翻訳の対比較評価例

入力文	両者 の 間 に 商談 が 成立 し た 。
ルールベース翻訳	The business talk was materialized
(0.000)	among both .
ハイブリッド翻訳	The concluded negotiations between
(0.3564)	the two .
参照文	A bargain was arranged between
	the two .
人手評価	ルールベース翻訳◯

表より，ハイブリッド翻訳とルールベース翻訳を比較すると，BLEUの値はハイブリッド翻訳が高い． しかし，ハイブリッド翻訳の出力文は，先頭に``The concluded"となっていて，Theの後に主語となる単語がなく， 文法的に誤りなので，人手評価ではルールベース翻訳が良いと判断した．

=8pt

表: ルールベース翻訳と句に基づく統計翻訳の対比較評価例

入力文	彼女 の 長い 髪 は 風 に 波打っ て い た 。
ルールベース翻訳(0.4317)	Her long hair was wavy to the wind .
句に基づく統計翻訳(0.4468)	Her long hair in the wind .
参照文	Her long hair was streaming in the wind .
人手評価	ルールベース翻訳◯

表より，moseとルールベース翻訳を比較すると，BLEUの値は句に基づく統計翻訳が高い． しかし句に基づく統計翻訳の出力文には，``波打っ て い た "を表す動詞が存在しないので， 人手評価ではルールベース翻訳のほうが良いと判断した．

=5pt

表: ルールベース翻訳と階層型統計翻訳の対比較評価例

入力文	これ は 家族 みんな が 興味深く 読める
	雑誌 です 。
ルールベース翻訳	This is a magazine which all families
(0.0000)	can read interestingly .
階層型統計翻訳	This is a family can read all
(0.3124)	興味深く magazine .
参照文	This is a family interest magazine .
人手評価	ルールベース翻訳◯

表より，階層型統計翻訳とルールベース翻訳を比較すると，BLEUの値は階層型統計翻訳が高い． しかし，階層型統計翻訳の出力文は，未知語が含まれ，翻訳品質が劣っているので， 人手評価ではルールベース翻訳が良いと判断した．