RIBESは,参照文と出力文との間で,共通単語の出現順序を順位相関係数で評価を行う評価法である. 計算式を3.13と3.14に示す.
123#123 | 24#24 | 124#124 | (3.13) |
123#123 | 24#24 | 125#125 | (3.14) |
ここで,NSRはスピアマンの順位相関係数であり,NKTは,ケンドールの順位相関係数である. また121#121 はペナルティに対する重みとして使用され, 126#126 の値である. 単語の出現順を順位相関係数を用いて評価することで,文全体の語順に着目することができる. 尚,RIBESは0から1のスコアを出力し,1に近い方が良い評価である.