人手評価の実例

人手評価の例を表8.3から表8.6に示す． また，RSMTが誤った候補文を選んだ原因を考察する．

Table: 人手評価の例1

入力文	この本にそう書いてある。
参照文	This book says so .
Open-NMT	This book is written in the book .
RSMT	This book says so .
類似学習文(日本語)	この本は易しく書いてある。
類似学習文(英語)	This book is simply written .
人手評価の結果	RSMT○

表8.3の例では，過剰生成がRSMTによって改善された． RSMTの出力文は，参照文と一致している． NMTの出力文は，“the book”の過剰生成によって評価を下げている．

Table: 人手評価の例2

入力文	地球は太陽の周囲を回転する。
参照文	The earth revolves around the sun .
Open-NMT	The earth turns around the sun .
RSMT	The earth revolves around the sun .
類似学習文(日本語)	地球は自転する。
類似学習文(英語)	The earth rotates .
人手評価の結果	RSMT○

表8.4の例では，動詞がRSMTによって改善された． RSMTの出力文は，参照文と一致している．
　NMTの出力文は，“revolves”ではなく“turns”を用いている． “turns around”は「振り向く」という意味となる． よって，入力文の意味から離れている．

Table: 人手評価の例3

入力文	彼はゴルバチョフに次ぐ実力者だ。
参照文	He is second in power to Gorbachev .
Open-NMT	He is next person to Gorbachev .
RSMT	He is the best donor .
類似学習文(日本語)	彼は音に対して鈍感だ。
類似学習文(英語)	He is dull to sound .
人手評価の結果	NMT○

表8.5では，RSMTの出力文中に，固有名詞である“Gorbachev”が出力文中に登場していない． 固有名詞は学習文対における登場回数が少なく，RSMTで正しく評価がしにくい． RSMTのスコア順位では5番目に“Gorbachev”が登場する候補文が出現した．

Table: 人手評価の例4

入力文	彼はおこづかいの大半を本に使う。
参照文	He spends most of his pocket money on books .
Open-NMT	He use most of his allowance to book .
RSMT	He use most of his pocket money .
類似学習文(日本語)	彼は金をどんどん使う。
類似学習文(英語)	He is prodigal with money .
人手評価の結果	NMT○

表8.6では，RSMTは“book”が出力文中に登場していない． これは類似学習文対との類似度が高かったことで，翻訳確率によるスコア付けの重みが低かったことが原因である． RSMTの評価では1位から8位までの候補中，7文が表8.5に示した類似学習文との類似度を用いていた．