提案手法と人手評価の差

節で，提案手法と人手評価に差があることが判明した．どのように差が生じたか調査するため，以下に人手評価をした例文を挙げる．

提案手法がもっとも高い評価をしたRBMT+PSMTの例文とNISTの数値を，表8.1，表8.2に示す．また，提案手法がもっとも低い評価をしたRBMTの例文とNISTの数値を，表8.3，表8.4に示す．

=8pt

表: RBMT+PSMTの例

	評価文	人手評価
入力文	彼女 は まだ 口紅 を つける 年 で は ない 。
出力文	She is not a year is still on in on lipstick .	1
参照文	She is not old enough to use lipstick .

=20pt

表: 自動評価の数値1

BLEU	0.0000
NIST	1.3208

表8.1の出力文は，"year"の次に"is"があり，また"on in on"という意味不明な単語列が出力されている．文法に誤りがあり，理解不能なので，評価は1である．

=8pt

表: RBMTの例

	評価文	人手評価
入力文	この ネクタイ と お 洋服 と は よく 合います 。
出力文	This necktie and clothes suit well .	5
参照文	This tie and your suit go well together .

=20pt

表: 自動評価の数値2

BLEU	0.0000
NIST	1.7349

表8.3の出力文は，参照文と表現の違いはあるが，文法的に正しく，理解が容易にできるので，評価は5である．