判断基準

人手による4つの判断基準に基づいて評価を行う．評価基準と評価例を以下に示 す．尚，未知語はローマ字変換して評価する．

評価1() 提案手法の翻訳結果がベースラインよりも優れている

例1
入力文	私 は 彼女 に 結婚 を 申し込ん だ 。
正解文	I proposed to her .
ベースライン	I He asked her for her hand .
提案手法	I made a proposal of marriage to her .
例2
入力文	彼 は スライド を スクリーン に 映し た 。
正解文	He projected the slides on the screen .
ベースライン	He looked at herself in the screen .
提案手法	He projected a slide The picture on the TV screen .

評価2() 提案手法の翻訳結果がベースラインよりも劣っている

例1
入力文	仕事 は 山場 に 入っ た 。
正解文	Work has reached the critical point .
ベースライン	The work is appear to have entered the final stage .
提案手法	work went into the labor-management .
例2
入力文	台所 の 空気 が 汚れ て いる 。
正解文	The air in the kitchen is foul .
ベースライン	The air is polluted the kitchen .
提案手法	The kitchen is the dirt off the air .

評価3() どちらも似たような文である，またはどちらも入力文で伝えたい情報が理解できない

例1
入力文	豊作 に なり そう だ 。
正解文	The harvest looks promising .
ベースライン	Hopes looks like .
提案手法	It looks like rejoicing .
例2
入力文	それ は 彼 の 彫刻 し た もの だ 。
正解文	It is a production of his chisel .
ベースライン	It will be a is engraved .
提案手法	It is engraved .

評価4(=) 提案手法とベースラインの翻訳結果が全く同じである

例1
入力文	彼 は 故郷 を 恋し がっ て いる 。
正解文	He is sick for home .
ベースライン	He is homesick .
提案手法	He is homesick .
例2
入力文	患者 は 盲腸炎 の 手術 を 受け た 。
正解文	The patient was operated on for appendicitis .
ベースライン	The patient had an operation for appendicitis .
提案手法	The patient had an operation for appendicitis .