人手評価には,様々な評価方法がある.大きく分けて2種類ある.絶対評価と相対評価である.絶対評価には,了解度と正確さの観点から9段階で評価を行う手法,Adequacy(意味が伝わっているか)とFluency(読みやすさ)の観点からそれぞれ5段階で評価を行う手法,さらに10点満点で評価を行う手法などがある.相対評価には,2つの翻訳システムの翻訳結果を比較して,翻訳品質が高いほうを良い評価とする,対比較評価などがある.
例として,AdequacyとFluencyの5段階評価の評価基準を表3.1に示す.
ランク | Adequacy | Fluency |
5 | 入力文の意味が全て伝わっている. | かなり読みやすい. |
4 | 入力文の意味がほとんど伝わっている. | 少し読みやすい. |
3 | 入力文の意味はかなり伝わっている. | ほとんど変わらない. |
2 | 入力文の意味が少し伝わっていない. | 少し読みにくい. |
1 | 入力文の意味が全く伝わっていない. | かなり読みにくい. |