Next: 実験のまとめ Up: 実験結果 Previous: 人手評価の結果 Contents
| 入力文 | 彼の話には深みがある。 | |
| 参照文 | There is something deepin what he said . | 評価結果 |
| PMI | His story has a depth of meaning . | ○ |
| Jaccard | There is a depth in his story . | △ |
| Joint Dice Simpson | His story has a depth of depth . | × |
表6.3の例では，目的語の違いが評価結果に影響している．
PMIの出力文を訳すると「彼の話は意味の深さを持っている。」となり入力文の意味に適している．
次に，Jaccardの出力文を訳すると「彼の話には深さがある。」となる．
評価に悩んだが，“depth”だけでは「話の深さ」という意味を十全に表現していない，と判断した．
Joint，Jaccard，Simpsonの出力文は，文中に同一単語(depth)が過剰に繰り返されている．
この現象を過剰生成と言う．本論の人手評価では過剰生成が見られた出力文は全て評価×としている．
| 入力文 | 公園は川まで広がっている。 | |
| 参照文 | The park reaches to the river . | 評価結果 |
| PMI Simpson | The park reaches as far as the rivers . | ○ |
| Joint Jaccard Dice | The park extends as far as the rivers . | △ |
表6.4の例では，動詞の違いが評価結果に影響している．
PMIの出力文を訳すると「公園は川と同じくらい遠く届いている。」となる．
評価に悩んだが，入力文の「広がっている」は「届いている」と同義であると判断した．
よって，出力文は入力文の意味を表現できていると判断した．
次に，Joint，Jaccard，Diceの出力文は「伸ばす」という意味の“extends”が用いられている．
よって，入力文の意味を十全に表現していない．
| 入力文 | わが国の刑務所制度はとんでもなく時代遅れなものとなっている。 | |
| 参照文 | Our prison system has become an absurd anachronism . | 評価結果 |
| Joint Simpson | The prison system of this country is out of date . | ○ |
| PMI Jaccard Dice | Our prison system is in a sad tone . | × |
表6.5の例では，「時代遅れ」の意味を表現できているかが評価結果に影響している．
Joint，Simpsonの出力文を訳すると「この国の刑務所制度は時代遅れだ。」となる．
入力文との細かい違いはあるものの，入力文の意味をほぼ表現できているため，評価○とした．
PMI，Jaccard，Diceの出力文は「時代遅れ」が“in a sad tone”となっている．
“in a sad tone”は「悲しそうな口調」という意味で用いられる連語である．
よって，入力文の意味と大きく離れている．
| 入力文 | 彼女の結婚は一大行事となるだろう。 | |
| 参照文 | Her marriage will be quite an event . | 評価結果 |
| 全ての計算法 | Her marriage would be a great event . | △ |
表6.6の例では，“would”の時制が評価結果に影響している．
入力文の時制は未来形となっている．
入力文との細かい違いはあるものの，入力文の意味をほぼ表現できているため，評価○とした．
PMI，Jaccard，Diceの出力文は「時代遅れ」が“in a sad tone”となっている．
“in a sad tone”は「悲しそうな口調」という意味で用いられる連語である．
よって，入力文の意味と大きく離れている．
| 入力文 | 賛成が50票、反対が15票あった。 | |
| 参照文 | There were fifty votes for and fifteen votes against . | 評価結果 |
| 全ての計算法 | Fifty votes in favor , and fifteen votes opposed . | ○ |
表6.7の例は，表5.10と同一の入力文である． 表5.10の結果と比較すると，人手評価で○とした出力文が存在する． この例のように，Open-NMTの第1候補より優れた出力文を，出力できた入力文が存在する．
| 入力文 | 彼は彼女に慰めのことばをかけた。 | |
| 参照文 | He spoke comforting words to her . | 評価結果 |
| Jaccard Dice | He put a few words of comfort to her . | △ |
| Joint | He spoke a few words of comfort to her , he said . | × |
| PMI Simpson | He spoke a few words of comfort to him . | × |
表6.8の例は，表5.11と同一の入力文である． 表5.11の結果と比較すると，人手評価で○とした出力文が存在しない． 8.2節において，PMIの出力文が出力された原因を考察している．