翻訳精度の調査の結果

表: 実験結果
	BLEU	RIBES	TER
従来手法	0.059	0.637	0.818
提案手法	0.076	0.677	0.756

　TDSMTで出力を得られた文の内, 100文を対象に対比較評価を行った結果を表4.6に示す．

表: 人手評価の結果
○	△	$\times$
14	57	12

表4.6より従来手法と提案手法の翻訳精度にほぼ差はない. 評価例を表4.7, 表4.8, 表4.9, 表4.10, 表4.11, 表4.12に示す．表中の下線部は評価の根拠とした部分である．

表: ○とした例1
入力文	彼は黄疸の症状が出た。
参照文	He had symptoms of jaundice .
従来手法	He became 黄疸の症状 .
提案手法	He became an icteric .

表4.7の従来手法と提案手法の出力を比較すると, 従来手法では「黄疸の症状」は日本語で出力されている.一方で, 提案手法では「an icteric」という正しい英語に翻訳されて出力されている. また, それ以外の部分については同一である. 従って, 提案手法が従来手法よりも優れていると判断した.

表: ○とした例2
入力文	彼は晩年をベニスで過ごした。
参照文	He spent the afternoon of his life in Venice .
従来手法	He spent his late years in ベニス .
提案手法	He spent his late years in to Venice .

表4.8の従来手法と提案手法の出力を比較すると, 従来手法では「ベニス」　は日本語で出力されている. 一方で, 提案手法では「to Venice」という英語で出力されており, 文法的には誤っているがベニスという地名が英語で表現されており, 提案手法が従来手法よりも優れていると判断した.

表: △とした例1
入力文	献身的な夫であり父親だった。
参照文	He was a devoted husband and father .
従来手法	He あり父親だっ a dedication husband .
提案手法	He was father unfortunate husband her husband .

表4.9の従来手法と提案手法の出力を比較すると, 従来手法では「あり父親だっ」が日本語で出力された. 一方で, 提案手法では, 「was father」という英語で出力された. しかし, 「献身的な夫」の翻訳が, 従来手法では「dedication husband」となっており, 正しい翻訳が為されているのに対して, 提案手法では「unfortunate husband her husband」となっており, 同じ意味が連続して出現する形になっている. 従って, 従来手法と提案手法, どちらが優れているかは一概に判断できないものとした.

表: △とした例2
入力文	油圧系統が漏れる。
参照文	There is a leak in the hydraulic system .
従来手法	The 油圧系統 escapes .
提案手法	The 油圧系統 escapes .

表: $\times$ とした例1
入力文	最後に皆で校歌をうたった。
参照文	At the end we all sang our school song together .
従来手法	He sang his 皆で校歌 in the end .
提案手法	I was the school in on a last to .

表4.11の従来手法と提案手法の出力を比較すると, 従来手法では「最後にを歌った」という文章の大まかな流れは理解できる. それに対して, 提案手法では文意が全く判断できない. このため, 従来手法の方が優れていると判断した.

表: $\times$ とした例2
入力文	スキーシーズンには臨時列車が運転される。
参照文	Extra trains run during the ski season .
従来手法	スキーシーズンに trains are run extraordinary .
提案手法	skiing season trains are run is driven .

表4.12の従来手法と提案手法の出力を比較すると, 従来手法では「スキーシーズン」の意味は読み取れないが「臨時列車が運転される」という文章の大まかな意味は読み取れる. これに対して, 提案手法では「スキーシーズン」の部分は翻訳されているが全体的に文法が誤っており, 意味が読み取れない. 従って, 提案手法の方が優れていると判断した.