Next: 人手評価例:TDSMT○の例
Up: TDSMTとMoses[9]との翻訳精度の比較
Previous: 自動評価
Contents
人手評価
TDSMTで出力可能であった入力文196文からランダムに抽出した100文に対して,翻訳実験を行っい,人手評価を行った.人手評価は2.3.2節に示した対比較調査を行った.調査対象手法をTDSMT,ベースラインをMosesとした.どちらの出力がTDSMTの出力文で,どちらがMosesの出力文かが評価者がわかる場合,評価がTDSMTに有利になる可能性がある.そのため,出力文をランダムに入れ替えて評価を行った.なお評価者は,本論文の著者一名で行った.
評価基準を表6.2に示す.
結果を表6.3に示す.
Table 6.3:
TDSMTとMosesとの対比較評価結果
|
表6.3より,TDSMTは翻訳文の出力に成功した場合,Mosesと同等の翻訳精度を示した.今回のTDSMTはまだまだ開発段階である.今後改善を行うことにより,mosesに勝る翻訳精度が期待できる.
Subsections
Hiroto Yasuba
2019-05-08