next up previous contents
Next: 人手評価例:TDSMT○の例 Up: TDSMTとMoses[9]との翻訳精度の比較 Previous: 自動評価   Contents


人手評価

TDSMTで出力可能であった入力文196文からランダムに抽出した100文に対して,翻訳実験を行っい,人手評価を行った.人手評価は2.3.2節に示した対比較調査を行った.調査対象手法をTDSMT,ベースラインをMosesとした.どちらの出力がTDSMTの出力文で,どちらがMosesの出力文かが評価者がわかる場合,評価がTDSMTに有利になる可能性がある.そのため,出力文をランダムに入れ替えて評価を行った.なお評価者は,本論文の著者一名で行った.

評価基準を表6.2に示す.


Table 6.2: 対比較評価の評価基準
104#104


結果を表6.3に示す.


Table 6.3: TDSMTとMosesとの対比較評価結果
105#105


6.3より,TDSMTは翻訳文の出力に成功した場合,Mosesと同等の翻訳精度を示した.今回のTDSMTはまだまだ開発段階である.今後改善を行うことにより,mosesに勝る翻訳精度が期待できる.



Subsections

Hiroto Yasuba 2019-05-08