人手評価の実例

本節では,人手評価の実例をいくつか掲載する.
Table: 人手評価の例1
入力文 彼は晩年をベニスで過ごした。  
参照文 He spent the afternoon of his life in Venice . 評価結果
PMI Jaccard Dice He spent his late years in Venice .
Joint Simpson He spent his late years to Venice .

5.6の例では,“Venice”の前の前置詞の違いが評価結果に影響している. PMI,Jaccard,Diceの出力文の前置詞“in”の方が,Joint,Simpsonの前置詞“to”より適切であると考えた.


Table: 人手評価の例2
入力文 私はその仕事に慣れていない。  
参照文 I am not used to the task . 評価結果
Jaccard Dice I am not used to the work .
Joint I am not yet used to the work .
PMI Simpson I am unused to the work . ×

5.7の例では,“used”付近の違いが評価結果に影響している. Jaccard,Diceの出力文は参照文と一致している.
 次に,Jointの出力文は日本語で「まだ」という意味を付与する“yet”が付随している. これによって僅かに入力文の意味から離れている.
 最後に,PMI,Simpsonの出力文は“unused”という動詞が“used”の代わりに用いられている. “used to”で慣用句的な扱いであるため,“unused”を用いるのは不適切である.


Table: 人手評価の例3
入力文 あの女の人は美しい顔をしている。  
参照文 That woman has a beautiful face . 評価結果
Jaccard Dice That woman has a beautiful face .
PMI Joint Simpson That woman's face has a beautiful face .

5.8の例では,主語の違いが評価結果に影響している. Jaccard,Diceの出力文は参照文と一致している.
 PMI,Joint,Simpsonの出力文は主語が“That's womans face”となっている. これによって「女性の顔が顔を持っている」という訳となり,ニュアンスは伝わるが文章としては不適切である.


Table: 人手評価の例4
入力文 公園は川まで広がっている。  
参照文 The park reaches to the river . 評価結果
Simpson The park reaches to the river .
PMI Jaccard Dice The park reaches the river .
Joint The park is spreading to the river . ×

5.9の例では,動詞周辺の違いが評価結果に影響している. Simpsonの出力文は参照文と一致している.
 PMI,Jaccard,Diceの出力文は前置詞“to”が不足している. 入力文の意味は伝わるが,文法的に不敵である.
Jointの出力文は動詞“spreading”が明らかに入力文の意味と不一致である.


Table: 人手評価の例5
入力文 賛成が50票、反対が15票あった。  
参照文 There were fifty votes for and fifteen votes against . 評価結果
PMI There were fifty votes in favor . ×
Joint Jaccard Dice Simpson The park reaches the river . ×

5.10の例では,出力文に不足している情報があるため,全て評価×となっている. 全ての出力文において,「反対が15票あった」の情報が不足している.
この入力文は第6章の評価例にも掲載している.


Table: 人手評価の例6
入力文 彼は彼女に慰めのことばをかけた。  
参照文 He spoke comforting words to her . 評価結果
全ての計算法 He spoke a few words of comfort to her .

5.11の例では,全て評価○となっている. この入力文は第6章の評価例にも掲載している.