RIBES

RIBESは，参照文と出力文との間で，共通単語の出現順序を順位相関係数で評価を行う． 0から1のスコアで評価し，出現順序が正しいとき高いスコアを出力する．RIBESの計算式を以下に示す．

$$RIBES = \frac{\tau+1}{2}\times P^\alpha \;\;\;\;\;\; (0\le \alpha \le1)$$ (3.9)

$$\tau = \frac{\sum_{i=1}^{n-1}K_{i}-\sum_{i=1}^{n-1}L_{i}}{\frac{n(n-1)}{2}}$$ (3.10)

ここで，$\tau$はケンドールの順位相関係数である． まず，参照文と出力文の共通単語を抽出する． その共通単語の中で，参照文の単語の出現順に1から番号を与えたリスト$r$を作成する． そして，出力文の中で，$r$の単語に対応する単語が何番目に出てきたかを管理するリスト$h$を作成する． $j=i+1,2...,n$として，$h_{i}$について，$h_{i}<h_{j}$となる場合の数を$K_{i}$， $h_{i}>h_{j}$となる場合の数を$L_{i}$とする． $K_{i}$や$L_{i}$を(5.8)式に代入し$\tau$を計算する．

また，$P$は$uni$-gram適合率であり，$\alpha$はペナルティに対する重みとして使用される． RIBESは，単語の出現順序を順位相関係数を用いて評価することで，文全体の語順に着目することができる．