next up previous contents
次へ: 実験結果 上へ: 翻訳実験 戻る: 実験対象   目次

評価方法

評価基準は,以下の通りとする.また,本システム(Meijin)では,複数の訳出が でた場合,人手で最適解を決め,評価する.

表 10: 評価の定義
訳出された英語が,文法的に正しく,意味も理解できる場合(英語の 訳語,冠詞,句の外の情報は考慮しない)
訳出された英語が,文法的に間違っているが,意味は理解できる場 合
× 訳出された英語が,意味的に間違っている,または,訳出が無い場合

以上の評価を,再現率$R$,および,適合率$P$を用いて集計する.

\begin{eqnarray*}
再現率 R &=& \frac{出力パターンが一つ以上ある回答の数}{出題数}...
...=& \frac{評価(○)のある回答数}{出力パターンが一つ以上ある回答数}
\end{eqnarray*}

以下に評価の例を示す.

評価○の例

(入力句)
別の機会
(解答例)
another opportunity
(出力句)
a different opportunity
(理由)
訳出された句``a different opportunity''は,文法的にも意味的にも正しいの で評価○となる.

評価△の例

(入力句)
新幹線の旅
(解答例)
The trip by Shinkansen
(出力句)
the trip of a sinkansen
(理由)
訳出された句``the trip of the Sinkansen''は,``of'' が誤りであるために,評価は△となる.

評価×の例

(入力句)
あの俳優
(解答例)
that actor
(出力句)
that sumo actor
(理由)
訳出された句``that sumo actor''は,意味が明らかに異なるので,評価×となる.



平成18年3月24日