評価方法

入力文の対訳英文を正解英文とし，訳出文を手動で評価する． 評価基準は，日英文の意味的な対応関係の正否と，英文法上の正誤によって 判断する． 具体的には，以下の4段階とする．

〈評価基準〉

評価4	動作主，動作，対象の意味的関係が正しく，統語的誤り$^{*}$ がない
評価3	上記の意味的関係が正しいが，統語的誤り$^{*}$ がある
評価2	上記の意味的関係が部分的に正しい
評価1	上記の意味的関係が正しくない

* 冠詞と複数形については誤りとしない

また，評価値3，4の訳出文を「翻訳成功」，評価値1，2の訳出文を「翻 訳失敗」，パターンに適合しなかった文を「適合無し」とする． 以下に評価例を示す．

〈評価例〉

評価4
入力文	夕方になってやっと暑さが和らいだ。
正解文	The heat finally let up in the evening.
訳出文	Heat finally let up in evening.
評価3
入力文	うまくいったので意気揚々としている。
正解文	He is flushed with success.
訳出文	He be flushed with success.
評価2
入力文	とても優遇されて英文学の講座を担当した。
正解文	The heat finally let up in the evening.
訳出文	I covered chair of english literature .
評価1
入力文	彼は頭もよく勤勉でもある。
正解文	He is as diligent as bright.
訳出文	We and is <n5>.