next up previous contents
次へ: 今後の課題 上へ: 考察 戻る: 提案手法の問題点   目次


提案手法と自動評価

本節では，提案手法と自動評価法との関係性を考察する． 表8.6で，各翻訳システムにおける提案手法と自動評価の結果を示す．表8.6中で，各自動評価法でもっとも高い数値を太字で示す．また，提案手法と自動評価の相関係数を，表8.7で示す．



=2pt
表: 提案手法と自動評価
  提案手法 BLEU NIST METEOR RIBES
RBMT 157 0.1296 4.7750 0.4695 0.7253
PSMT 178 0.1345 4.8199 0.4520 0.7115
HSMT 187 0.1417 4.9065 0.4573 0.7198
RBMT+PSMT 323 0.1727 5.3639 0.4979 0.7455
RBMT+HSMT 304 0.1698 5.4070 0.4979 0.7479

表8.6から，各自動評価法は，すべてハイブリッド翻訳時にもっとも高い数値であった．


表: 提案手法との相関係数

\scalebox{1.0}[1.0]{ {\tabcolsep=2pt \begin{tabular}{\vert c\vert c\vert c\vert ... ...BES　\\ \hline {\bf 0.9950} & 0.9888 & 0.9104 & 0.9073 \\ \hline \end{tabular}}}


BLEU，NIST，METEOR，RIBESは，すべて0.9以上の数値で提案手法と正に相関した．特にBLEUとの相関が大きかった．


平成25年2月12日