next up previous contents
次へ: METEOR 上へ: 評価方法 戻る: NIST   目次

RIBES

RIBESは，正解文と出力文の間で，共通単語の出現順序を順位相関係数で評価を行う評価法である． RIBESは以下の式で計算される．
$\displaystyle RIBES(S)$ $\textstyle =$ $\displaystyle NSR × P^\alpha$ (2.14)
$\displaystyle RIBES(K)$ $\textstyle =$ $\displaystyle NKT × P^\alpha$ (2.15)
$\displaystyle P$ $\textstyle =$ $\displaystyle \frac{n}{h}$ (2.16)

ここで，$NSR$はスピアマンの順位相関係数であり，$NKT$はケンドールの順位相関係数である． またPはペナルティであり，$n$は出力文と正解文との間で共通な単語の数，$h$は出力文の単語数で計算する． $\alpha$はペナルティに対する主として使用され， $0 ≦ \alpha ≦ 1$ の値である． 単語の出現順を順位相関係数を用いて評価することで，文全体の語順に着目することができる．


平成25年2月12日