next up previous contents
次へ: TER 上へ: 自動評価 戻る: METEOR   目次

RIBES

RIBESは，正解文と出力文の間で，共通単語の出現順序を順位相関係数を用いて，評価を行う自動評価法である． RIBESは以下の式で計算される．
$\displaystyle RIBES(S)$ $\textstyle =$ $\displaystyle NSR × P^\alpha$ (3.9)
$\displaystyle RIBES(K)$ $\textstyle =$ $\displaystyle NKT × P^\alpha$ (3.10)
$\displaystyle P$ $\textstyle =$ $\displaystyle \frac{n}{h}$ (3.11)

ここで，$NSR$はスピアマンの順位相関係数であり，$NKT$はケンドールの順位相関係数である． またPはペナルティであり，$n$は出力文と正解文との間で共通な単語の数，$h$は出力文の単語数で計算する． $\alpha$はペナルティに対する主として使用され， $0 ≦ \alpha ≦ 1$ の値である． 単語の出現順を順位相関係数を用いて評価することで，文全体の語順に着目することができる． RIBESは0から1の値をスコアとして出力し，スコアの値が高いほど翻訳精度が高いことを示す．


s102025 平成27年3月9日