RIBES

RIBES[10]とは，順位相関係数を用いて共通単語の出現順序を評価する自動評価法である． 順位相関係数を用いることで，文全体の語順に着目することが可能である． 自動評価と人手評価の相関について述べた松本らの研究[11]において，日英間翻訳の場合に 比較的人手評価と相関が高い自動評価法であると報告されている．以下にRIBESの計算式を示す．

$${\mathrm {RIBES(S)}} = NSR \times P^{\alpha}$$ (3.7)

$${\mathrm {RIBES(K)}} = NKR \times P^{\alpha}$$ (3.8)

式3.7において，NSRとはスピアマンの順位相関係数である．また，式3.8においてNKTはケンドールの 順位相関係数である．そして，$P$ はペナルティを表しており，評価システムの翻訳が参照文に含まれる単語を含む割合である． $\alpha$ はペナルティに対する重みであり，0$\leq$ $\alpha$ $\leq$ 1の値である．RIBESは，0から1の値をスコアとして出力し，スコアが高いほど評価が良い．