人手評価には,様々な評価方法がある.大きく分けて2種類ある.絶対評価と相対評価である .絶対評価には,了解度と正確さの観点から9段階で評価を行う手法, Adequacy(内容としての適切さ)とFluency(言語としての流暢さ)の観点からそれぞれ5段階で評価を行う手法, さらに10点満点で評価を行う手法などがある.相対評価には,2つの翻訳システムの翻訳結果を比較して, 翻訳品質が高いほうを良い評価とする,対比較評価などがある.
例として,AdequacyとFluencyの5段階評価の評価基準を表に示す.
ランク | Adequacy | Fluency |
5 | 入力文の意味が全て伝わっている. | かなり読みやすい. |
4 | 入力文の意味がほとんど伝わっている. | 少し読みやすい. |
3 | 入力文の意味は伝わっている. | ほとんど変わらない. |
2 | 入力文の意味が少ししか伝わっていない. | 少し読みにくい. |
1 | 入力文の意味が全く伝わっていない. | かなり読みにくい. |