next up previous contents
次へ: 人手評価 上へ: 翻訳の評価方法 戻る: 3)NIST   目次

4)RIBES

RIBES(Rank-based Intuitive Bilingual Evaluation Measure)は,参照文と出力文との間で,共通単語の出現順序を順位相関係数で評価を行う評価法である. 計算式を以下に示す.
$\displaystyle \mathrm{RIBES}=NSR\times P^\alpha$     (2.14)
$\displaystyle \mathrm{RIBES}=NKT\times P^\alpha$     (2.15)

ここで,$ NSR$ はスピアマンの順位相関係数であり,$ NKT$ はケンドールの順位相関係数である. また$ \alpha$ はペナルティに対する重みとして使用され,0≦$ \alpha$ ≦1の値である. 単語の出現順を順位相関係数を用いて評価することで,文全体の語順に着目することができる. なお,RIBESは0から1のスコアを出力し,スコアが大きい方が良い評価である.



平成25年2月13日