人手評価の実例

人手評価の例を表8.9から表8.12に示す． また，RSMTが誤った候補文を選んだ原因を考察する．

Table: 人手評価の例1

入力文	鞄が肩に掛かっている。
参照文	The bag is hung over his shoulders .
Open-NMT	My bag is stuck in my shoulder .
RSMT	The bag is on my shoulder .
類似学習文(日本語)	箱を肩にかついで運んだ。
類似学習文(英語)	I carried the box on my shoulder .
人手評価の結果	RSMT○

表8.9の例では，前置詞の使い分けがRSMTによって改善された． Open-NMTの出力文は“stuck in”が入力文の意味と不一致である． RSMTの出力文は“on”が用いられており，Open-NMTと比較すると入力文の意味と合致している．

Table: 人手評価の例2

入力文	彼も一端の音楽家になった。
参照文	He has become a pretty good musician .
Open-NMT	He was given a great musical at random .
RSMT	He became a musician .
類似学習文(日本語)	音楽家に生まれついた。
類似学習文(英語)	He was meant for a musician .
人手評価の結果	RSMT○

表8.10の例では，目的語がRSMTによって改善された． Open-NMTの出力文は「ミュージカルを与えられた」となり，入力文の意味と不一致である． RSMTの出力文は「音楽家になった」となり，Open-NMTと比較すると入力文の意味と合致している．

Table: 人手評価の例3

入力文	良心が彼女を苦しめた。
参照文	Her conscience stung her .
Open-NMT	Her conscience worried her .
RSMT	My conscience worried her .
類似学習文(日本語)	良心がとがめる。
類似学習文(英語)	My conscience pricksme .
人手評価の結果	NMT○

表8.11では，RSMTは所有格が誤っている． これは日本語と英語の所有格の明記の差異が原因で，誤っている候補文の類似度が正しい候補文より高くなっている．

Table: 人手評価の例4

入力文	彼は彼女に慰めのことばをかけた。
参照文	He spoke comforting words to her .
Open-NMT	He spoke a few words of comfort to her .
RSMT	He spoke a few words of comfort to him .
類似学習文(日本語)	彼は懐かしさを隠しきれぬ表情だった。
類似学習文(英語)	He looked as if everything were indescribably dear to him .
人手評価の結果	NMT○

表8.12では主語と目的語が明記してあるにも関わらず，RSMTが誤っている． これは，入力文及びRSMTの出力文が，学習文対「彼は懐かしさを隠しきれぬ表情だった。」“He looked as if everything were indescribably dear to him .”との類似度が高かったことが原因である．
　計算方法の都合，学習文対及び候補文の単語数が多いほど，翻訳確率が高くなる． よって，単語数が多い候補文が選択されやすい．