next up previous contents
次へ: 人手評価 上へ: 自動評価 戻る: METEOR   目次

RIBES

RIBESは,参照文と出力文との間で,共通単語の出現順序を順位相関係数で評価を行う. 0から1のスコアで評価し,出現順序が正しいとき高いスコアを出力する.RIBESの計算式を以下に示す.
$\displaystyle RIBES$ $\textstyle =$ $\displaystyle \frac{\tau+1}{2}\times P^\alpha \;\;\;\;\;\; (0\le \alpha \le1)$ (3.7)
$\displaystyle \tau$ $\textstyle =$ $\displaystyle \frac{\sum_{i=1}^{n-1}K_{i}-\sum_{i=1}^{n-1}L_{i}}{\frac{n(n-1)}{2}}$ (3.8)

ここで,$\tau$はケンドールの順位相関係数である. まず,参照文と出力文の共通単語を抽出する. その共通単語の中で,参照文の単語の出現順に1から番号を与えたリスト$r$を作成する. そして,出力文の中で,$r$の単語に対応する単語が何番目に出てきたかを管理するリスト$h$を作成する. $j=i+1,2...,n$として,$h_{i}$について,$h_{i}<h_{j}$となる場合の数を$K_{i}$$h_{i}>h_{j}$となる場合の数を$L_{i}$とする. $K_{i}$$L_{i}$を(5.8)式に代入し$\tau$を計算する.

また,$P$$uni$-gram適合率であり,$\alpha$はペナルティに対する重みとして使用される. RIBESは,単語の出現順序を順位相関係数を用いて評価することで,文全体の語順に着目することができる.



平成25年2月13日