next up previous contents
次へ: TER 上へ: 評価方法 戻る: NIST   目次

RIBES

RIBESは,参照文と出力文との間で,共通単語の出現順序を順位相関係数で評価を行う評価法である. 計算式を以下に示す.
$\displaystyle RIBES=NSR\times P^\alpha$     (3.28)
$\displaystyle RIBES=NKT\times P^\alpha$     (3.29)

ここで,$NSR$はスピアマンの順位相関係数であり,$NKT$はケンドールの順位相関係数である. また$\alpha$はペナルティに対する重みとして使用され,0≦$\alpha$≦1の値である. 単語の出現順を順位相関係数を用いて評価することで,文全体の語順に着目することができる. なお,RIBESは0から1のスコアを出力し,スコアが大きい方が良い評価である.



平成26年3月13日