next up previous contents
次へ: 人手評価 上へ: 自動評価法 戻る: METEOR   目次

RIBES

RIBESは，正解文と出力文の間で，共通単語の出現順序を順位相関係数で評価を行う評価法である． RIBESは以下の式で計算される．
$\displaystyle RIBES(S)$ $\textstyle =$ $\displaystyle NSR × P^\alpha$ (2.15)
$\displaystyle RIBES(K)$ $\textstyle =$ $\displaystyle NKT × P^\alpha$ (2.16)
$\displaystyle P$ $\textstyle =$ $\displaystyle \frac{n}{h}$ (2.17)

ここで，$NSR$はスピアマンの順位相関係数であり，$NKT$はケンドールの順位相関係数である． またPはペナルティであり，$n$は出力文と正解文との間で共通な単語の数，$h$は出力文の単語数で計算する． $\alpha$はペナルティに対する主として使用され， $0 ≦ \alpha ≦ 1$ の値である． 単語の出現順を順位相関係数を用いて評価することで，文全体の語順に着目することができる．


平成26年3月29日