評価方法

評価基準は，以下の通りとする．また，本システム(Meijin)では，複数の訳出が でた場合，人手で最適解を決め，評価する．

表 10: 評価の定義

○	訳出された英語が，文法的に正しく，意味も理解できる場合（英語の 訳語，冠詞，句の外の情報は考慮しない）
△	訳出された英語が，文法的に間違っているが，意味は理解できる場 合
×	訳出された英語が，意味的に間違っている，または，訳出が無い場合

以上の評価を，再現率$R$，および，適合率$P$を用いて集計する．

$$\begin{eqnarray*} 再現率 R &=& \frac{出力パターンが一つ以上ある回答の数}{出題数}... ...=& \frac{評価(○)のある回答数}{出力パターンが一つ以上ある回答数} \end{eqnarray*}$$

以下に評価の例を示す．

評価○の例

（入力句）

別の機会

（解答例）

another opportunity

（出力句）

a different opportunity

（理由）

訳出された句``a different opportunity''は，文法的にも意味的にも正しいの で評価○となる．

評価△の例

（入力句）

新幹線の旅

（解答例）

The trip by Shinkansen

（出力句）

the trip of a sinkansen

（理由）

訳出された句``the trip of the Sinkansen''は，``of'' が誤りであるために，評価は△となる．

評価×の例

（入力句）

あの俳優

（解答例）

that actor

（出力句）

that sumo actor

（理由）

訳出された句``that sumo actor''は，意味が明らかに異なるので，評価×となる．