next up previous contents
次へ: TER 上へ: 自動評価 戻る: IMPACT   目次

RIBES

RIBESは,参照文と出力文との間で,共通単語の出現順序を順位相関係数で評価を行う評価法である. 計算式を以下に示す.
78#78     (3.24)
79#79     (3.25)

ここで,80#80はスピアマンの順位相関係数であり,81#81はケンドールの順位相関係数である. また54#54はペナルティに対する重みとして使用され,0≦54#54≦1の値である. 単語の出現順を順位相関係数を用いて評価することで,文全体の語順に着目することができる. なお,RIBESは0から1のスコアを出力し,スコアが大きい方が良い評価である.



平成24年3月13日