実験結果

実験は，翻訳システム7種類，実験データ2種類，翻訳の種類2種類，評価方法2種類の計56種類の実験を行う． 出力文1文に対して評価を行った結果を表7.1，表7.4，表7.7，表7.10に示す． また，提案手法の結果を表7.2，表7.5，表7.8，表7.11に示す． 出力文1文と提案手法の，人手評価に対する自動評価の相関係数を表7.3，表7.6，表7.9に示す． 自動評価と人手評価の散布図を図7.1から図7.8に示す．

=1pt

表: 単文　日英翻訳　1文出力

	BLEU	METEOR	RIBES	TER	STR	人手評価
RBMT	0.120	0.450	0.712	0.761	0.008	3.34
PSMT	0.124	0.438	0.691	0.743	0.009	2.01
HSMT	0.125	0.443	0.697	0.748	0.008	2.13
RBMT(a) +PSMT	0.163	0.492	0.731	0.700	0.027	2.81
RBMT(a) +HSMT	0.161	0.488	0.734	0.702	0.025	2.79
RBMT(t) +PSMT	0.151	0.477	0.730	0.713	0.016	3.03
RBMT(t) +HSMT	0.149	0.478	0.729	0.715	0.015	3.04

=1pt

表: 単文　日英翻訳　提案手法

	BLEU	METEOR	RIBES	TER	STR	人手評価
RBMT	0.048	0.207	0.353	0.446	0.008	1.66
PSMT	0.063	0.226	0.359	0.390	0.012	1.05
HSMT	0.063	0.229	0.362	0.392	0.011	1.11
RBMT(a) +PSMT	0.081	0.253	0.380	0.368	0.033	1.46
RBMT(a) +HSMT	0.083	0.253	0.381	0.367	0.030	1.46
RBMT(t) +PSMT	0.076	0.246	0.379	0.374	0.019	1.56
RBMT(t) +HSMT	0.077	0.248	0.379	0.373	0.017	1.57

=1pt

表: 単文　日英翻訳　人手評価に対する自動評価の相関係数

	BLEU	METEOR	RIBES	TER	STR
1文出力	0.32	0.53	0.72	-0.21	0.24
提案手法	0.13	0.14	0.35	0.15	0.21

図: 日英翻訳 単文 1文出力 散布図

110#110

図: 日英翻訳 単文 提案手法 散布図

111#111

=1pt

表: 単文　英日翻訳　1文出力

	BLEU	METEOR	RIBES	TER	STR	人手評価
RBMT	0.119	0.369	0.737	0.906	0.003	3.08
PSMT	0.152	0.409	0.740	0.824	0.013	2.21
HSMT	0.159	0.416	0.751	0.816	0.017	2.97
RBMT(a) +PSMT	0.198	0.470	0.765	0.758	0.026	3.00
RBMT(a) +HSMT	0.200	0.472	0.778	0.750	0.025	3.00
RBMT(t) +PSMT	0.188	0.460	0.768	0.761	0.022	3.00
RBMT(t) +HSMT	0.195	0.465	0.773	0.757	0.022	2.92

=1pt

表: 単文　英日翻訳　提案手法

	BLEU	METEOR	RIBES	TER	STR	人手評価
RBMT	0.053	0.177	0.374	0.497	0.004	1.49
PSMT	0.076	0.211	0.384	0.433	0.017	1.14
HSMT	0.080	0.216	0.390	0.426	0.022	1.18
RBMT(a) +PSMT	0.101	0.244	0.398	0.397	0.031	1.50
RBMT(a) +HSMT	0.104	0.245	0.406	0.391	0.027	1.56
RBMT(t) +PSMT	0.095	0.237	0.398	0.399	0.026	1.53
RBMT(t) +HSMT	0.100	0.241	0.403	0.395	0.025	1.52

=1pt

表: 単文　英日翻訳　人手評価に対する自動評価の相関係数

	BLEU	METEOR	RIBES	TER	STR
1文出力	0.30	0.33	0.48	-0.19	0.17
提案手法	0.41	0.38	0.48	-0.26	0.24

図: 英日翻訳 単文 1文出力 散布図

112#112

図: 英日翻訳 単文 提案手法 散布図

113#113

=1pt

表: 重文複文　日英翻訳　1文出力

	BLEU	METEOR	RIBES	TER	STR	人手評価
RBMT	0.091	0.393	0.665	0.857	0.002	3.00
PSMT	0.114	0.406	0.665	0.788	0.004	2.25
HSMT	0.117	0.419	0.671	0.776	0.004	2.32
RBMT(a) +PSMT	0.133	0.437	0.677	0.759	0.009	2.52
RBMT(a) +HSMT	0.135	0.437	0.684	0.759	0.009	2.47
RBMT(t) +PSMT	0.140	0.446	0.701	0.750	0.006	2.54
RBMT(t) +HSMT	0.137	0.441	0.703	0.748	0.006	2.54

=1pt

表: 重文複文　日英翻訳　提案手法

	BLEU	METEOR	RIBES	TER	STR	人手評価
RBMT	0.039	0.183	0.333	0.485	0.002	1.52
PSMT	0.058	0.210	0.345	0.413	0.005	1.17
HSMT	0.060	0.217	0.349	0.406	0.004	1.21
RBMT(a) +PSMT	0.067	0.226	0.351	0.398	0.011	1.31
RBMT(a) +HSMT	0.069	0.227	0.355	0.397	0.010	1.31
RBMT(t) +PSMT	0.071	0.231	0.364	0.397	0.008	1.32
RBMT(t) +HSMT	0.071	0.229	0.366	0.391	0.007	1.32

=1pt

表: 重文複文　日英翻訳　人手評価に対する自動評価の相関係数

	BLEU	METEOR	RIBES	TER	STR
1文出力	-0.46	-0.31	-0.02	0.65	-0.34
提案手法	-0.49	-0.52	-0.32	0.70	-0.29

図: 日英翻訳 重文複文 1文出力 散布図

114#114

図: 日英翻訳 重文複文 提案手法 散布図

115#115

=1pt

表: 重文複文　英日翻訳　1文出力

	BLEU	METEOR	RIBES	TER	STR	人手評価
RBMT	0.113	0.372	0.700	0.898	0.001	3.05
PSMT	0.141	0.388	0.699	0.860	0.006	2.16
HSMT	0.142	0.397	0.707	0.841	0.005	2.24
RBMT(a) +PSMT	0.190	0.456	0.747	0.771	0.009	2.80
RBMT(a) +HSMT	0.188	0.452	0.757	0.770	0.005	2.73
RBMT(t) +PSMT	0.182	0.450	0.749	0.778	0.006	2.75
RBMT(t) +HSMT	0.179	0.449	0.750	0.779	0.005	2.82

=1pt

表: 重文複文　英日翻訳　提案手法

	BLEU	METEOR	RIBES	TER	STR	人手評価
RBMT	0.052	0.181	0.356	0.488	0.001	1.53
PSMT	0.071	0.200	0.362	0.450	0.007	1.13
HSMT	0.073	0.206	0.368	0.440	0.005	1.17
RBMT(a) +PSMT	0.097	0.236	0.389	0.403	0.012	1.46
RBMT(a) +HSMT	0.096	0.233	0.393	0.404	0.007	1.42
RBMT(t) +PSMT	0.094	0.234	0.390	0.406	0.008	1.42
RBMT(t) +HSMT	0.093	0.233	0.390	0.407	0.006	1.46

=1pt

表: 重文複文　英日翻訳　人手評価に対する自動評価の相関係数

	BLEU	METEOR	RIBES	TER	STR
1文出力	0.18	0.31	0.44	-0.19	-0.22
提案手法	0.20	0.27	0.41	-0.16	-0.10

図: 英日翻訳 重文複文 1文出力 散布図

116#116

図: 英日翻訳 重文複文 提案手法 散布図

117#117

表7.6より，単文の英日翻訳において，提案手法の結果は1文出力の結果と比較すると人手評価に対する自動評価の相関係数が向上した． しかし，他の実験では提案手法の結果と1文出力の結果を比較しても，人手評価に対する自動評価の相関係数に差はあまり見られなかった．