next up previous contents
次へ: 自動評価 上へ: 評価手法 戻る: 評価手法   目次


人手評価

人手評価は,利点として,文法や意味を正確に評価可能である. しかし欠点として,時間と人件費が膨大にかかるため,大量の文の評価は難しい.

人手評価には,様々な評価方法がある.大きく分けて2種類ある.絶対評価と相対評価である.絶対評価には,了解度と正確さの観点から9段階で評価を行う手法,Adequacy(意味が伝わっているか)とFluency(読みやすさ)の観点からそれぞれ5段階で評価を行う手法,さらに10点満点で評価を行う手法などがある.相対評価には,2つの翻訳システムの翻訳結果を比較して,翻訳品質が高いほうを良い評価とする,対比較評価などがある.

例として,AdequacyとFluencyの5段階評価の評価基準を表3.1に示す.


=13.5pt
表: AdequacyとFluencyの評価基準
ランク Adequacy Fluency
5 入力文の意味が全て伝わっている. かなり読みやすい.
4 入力文の意味がほとんど伝わっている. 少し読みやすい.
3 入力文の意味はかなり伝わっている. ほとんど変わらない.
2 入力文の意味が少し伝わっていない. 少し読みにくい.
1 入力文の意味が全く伝わっていない. かなり読みにくい.



平成25年2月12日