next up previous contents
次へ: METEOR 上へ: 評価方法 戻る: NIST   目次

RIBES

RIBESは,正解文と出力文の間で,共通単語の出現順序を順位相関係数で評価を行う評価法である. RIBESは以下の式で計算される.
$\displaystyle RIBES(S)$ $\textstyle =$ $\displaystyle NSR × P^\alpha$ (2.14)
$\displaystyle RIBES(K)$ $\textstyle =$ $\displaystyle NKT × P^\alpha$ (2.15)
$\displaystyle P$ $\textstyle =$ $\displaystyle \frac{n}{h}$ (2.16)

ここで,$NSR$はスピアマンの順位相関係数であり,$NKT$はケンドールの順位相関係数である. またPはペナルティであり,$n$は出力文と正解文との間で共通な単語の数,$h$は出力文の単語数で計算する. $\alpha$はペナルティに対する主として使用され, $0 ≦ \alpha ≦ 1$ の値である. 単語の出現順を順位相関係数を用いて評価することで,文全体の語順に着目することができる.



平成25年2月12日