次へ: TER
上へ: 自動評価
戻る: IMPACT
目次
RIBESは,参照文と出力文との間で,共通単語の出現順序を順位相関係数で評価を行う評価法である.
計算式を以下に示す.
78#78 |
|
|
(3.24) |
79#79 |
|
|
(3.25) |
ここで,80#80はスピアマンの順位相関係数であり,81#81はケンドールの順位相関係数である.
また54#54はペナルティに対する重みとして使用され,0≦54#54≦1の値である.
単語の出現順を順位相関係数を用いて評価することで,文全体の語順に着目することができる.
なお,RIBESは0から1のスコアを出力し,スコアが大きい方が良い評価である.
平成24年3月13日