翻訳精度の調査の結果

4.3.2.1　自動評価の結果(100文)

TDSMTで出力を得られた文の内，100文を対象に自動評価を行った結果を表4.6に示す．

Table: 自動評価結果(100文)

	BLEU	METEOR	TER
TDPBSMT	0.23	0.48	0.57
TDSMT	0.18	0.43	0.62

表4.6よりTDSPBSMTとTDSMTの翻訳精度にほぼ差はない．

4.3.2.2　人手評価の結果(100文)

TDSMTで出力を得られた文の内，100文を対象に対比較評価を行った結果を表4.7に示す．

Table: 人手評価結果(100文)

TDPBSMT○	22
TDSMT○	21
差なし	44
同一	13

表4.7よりTDPBSMTとTDSMTの翻訳精度に差はないことが分かる．評価例を表4.8，表4.9，表4.10，表4.11，表4.12，表4.13，表4.14，表4.15，表4.16に示す．表中の下線部は評価の根拠とした部分である．

Table: TDPBSMT○とした例1

入力文	その演説は拍手によって中断された。
TDPBSMT	The speech was interrupted by applause.
TDSMT	The speech was was interrupted according applause.
参照文	The speech was interrupted by applause.

表4.8のTDPBSMTとTDSMTの出力文を比較すると，TDPBSMTの出力文は参照文と同一である．TDSMTはbe動詞「was」が連続している．これは文法上不適当である．従って，TDPBSMTがTDSMTより優れていると判断した．

Table: TDPBSMT○とした例2

入力文	戦闘が本格的に始まった。
TDPBSMT	The battle began in earnest.
TDSMT	The battle began in dead earnest.
参照文	The battle began in real earnest.

表4.9のTDPBSMTとTDSMTの出力文を比較すると，TDPBSMTは入力文と同様の意味を読み取れる．TDSMTは「dead」という入力文の意味と合致しない単語が含まれている．従って，TDPBSMTがTDSMTより優れていると判断した．

Table: TDPBSMT○とした例3

入力文	鉄の神経をしている。
TDPBSMT	He has an iron nerves.
TDSMT	The iron is has nerves.
参照文	She has iron nerves.

表4.10のTDPBSMTとTDSMTの出力文を比較すると，TDPBSMTは入力文と同様の意味を読み取れる．TDSMTは入力文と同様の意味を読み取れない．従って，TDPBSMTがTDSMTより優れていると判断した．しかし，TDPBSMTの出力文も，「an」に続く名詞句が，複数形の「iron nerves」といった不良な点がある．

Table: TDSMT○とした例1

入力文	彼女はベッドで寝返りを打った。
TDPBSMT	I turned over in bed.
TDSMT	She turned over in bed.
参照文	She rolled in the bed.

表4.11のTDPBSMTとTDSMTの出力文を比較すると，TDPBSMTは主語が入力文と異なる．TDSMTは入力文と同様の意味を読み取れる．従って，TDSMTがTDPBSMTより優れていると判断した．

Table: TDSMT○とした例2

入力文	その翌日のバスの切符を買った。
TDPBSMT	He bought a ticket for the next bus.
TDSMT	He bought a ticket for bus from the day.
参照文	He booked himself for the following day's bus.

表4.12のTDPBSMTとTDSMTの出力文を比較すると，TDPBSMTは「次のバスの切符を買った。」と読める出力文となっている．TDSMTは入力文と同様の意味を読み取れる．従って，TDSMTがTDPBSMTより優れていると判断した．

Table: TDSMT○とした例3

入力文	設備のよいホテルに泊まった。
TDPBSMT	We stayed at the hotel good equipment.
TDSMT	I stayed at a good of equipment.
参照文	I stayed a hotel that was well equipped and well furnished.

表4.13のTDPBSMTとTDSMTの出力文を比較すると，TDPBSMTは「ホテルに泊まった」と読み取れない．TDSMTは入力文と同様の意味を読み取れる．従って，TDSMTがTDPBSMTより優れていると判断した．

Table: 差なしとした例1

入力文	彼らはフランスに使者をやった。
TDPBSMT	They did a messenger to the French.
TDSMT	They gave aa messenger to French.
参照文	They sent a messenger France.

Table: 差なしとした例2

入力文	その対立は深まった。
TDPBSMT	The conflict has grown.
TDSMT	The comflict has deepened.
参照文	The antagonism deepened.

Table: 差なしとした例3

入力文	腕に覚えがある。
TDPBSMT	These events caused recession.
TDSMT	There recall arm.
参照文	Use a fountain pen or a ball point pen.