next up previous contents
次へ: TER 上へ: 自動評価 戻る: IMPACT   目次

RIBES

RIBESは,参照文と出力文との間で,共通単語の出現順序を順位相関係数で評価を行う評価法である. 計算式を3.13と3.14に示す.


123#123 24#24 124#124 (3.13)
123#123 24#24 125#125 (3.14)

ここで,NSRはスピアマンの順位相関係数であり,NKTは,ケンドールの順位相関係数である. また121#121 はペナルティに対する重みとして使用され, 126#126 の値である. 単語の出現順を順位相関係数を用いて評価することで,文全体の語順に着目することができる. 尚,RIBESは0から1のスコアを出力し,1に近い方が良い評価である.



root 平成24年3月22日