RIBES

RIBES[5]は，参照文と出力文との間で，共通単語の出現順序を順位相関係数で評価を行う評価法である． 計算式を以下に示す．

$$RIBES = NSR\times P^\alpha$$ (3.20)

$$RIBES = NKT\times P^\alpha$$ (3.21)

$$NSR = 1-\frac{6\sum^n_{i=1}d^2_i}{n^3-n}$$ (3.22)

$$NKT = \frac{\sum^{n-1}_{i=1}K_i-\sum^{n-1}_{i=1}L_i}{\frac{n(n-1)}{2}}$$ (3.23)

ここで，$NSR$はスピアマンの順位相関係数であり，$NKT$はケンドールの順位相関係数である． $P$は共通単語が少ない場合のペナルティである．また$\alpha$はペナルティに対する重みとして使用され，0≦$\alpha$≦1の値である．$n$は文の単語数であり，$d_i$は参照文の$i$番目の単語と出力文の$i$番目の単語の語順の差分である．
$K_i$は，以下の2つの単語列の共起数である．

• 出力文における，出力文のi番目の単語以降の単語列．
• 参照文における，出力文のi番目の単語以降の単語列．

$L_i$は，以下の2つの単語列の共起数である．

• 出力文における，出力文のi番目の単語以降の単語列．
• 参照文における，出力文のi番目の単語以前の単語列．

RIBESは，単語の出現順を順位相関係数を用いて評価することで，文全体の語順に着目することができる． なお，RIBESは0から1のスコアを出力し，スコアが大きい方が良い評価である．具体的な計算例を次のページに示す．

[

c]例 日本語文：雨 に 濡れた ため ， 彼 は 風邪 を 引い た 。
参照文：He caught a cold because he got soaked in the rain .
出力文：He got soaked in the rain because he caught a cold .

計算方法

$$d_1 = 1-8=-7，d_2=2-9=-7，d_3=3-10=-7，$$

$$d_4 = 4-11=-7，d_5=5-7=-2，d_6=6-1=5，$$

$$d_7 = 7-2=5，d_8=8-3=5，d_9=9-4=5，$$

$$d_{10} = 10-5=5，d_{11}=11-6=5$$

$$NSR = 1-\frac{6(6*(-5)^2+(-2)^2+4*(-7)^2)}{11^3-11}=-0.59$$ (3.24)

$$RIBES = \frac{-0.59+1}{2}=0.2050$$ (3.25)

$$K_1 = 5，K_2=4，K_3=3，K_4=2，K_5=1，$$

$$K_6 = 0，K_7=0，K_8=3，K_9=2，K_{10}=1$$

$$L_1 = 5，L_2=5，L_3=5，L_4=5，L_5=5，$$

$$L_6 = 5，L_7=4，L_8=0，L_9=0，L_{10}=0$$

$$NKT = \frac{21-34}{\frac{11*10}{2}}=-0.23$$ (3.26)

$$RIBES = \frac{-0.23+1}{2}=0.3850$$ (3.27)