人手評価

提案手法の出力文からランダムに抽出した50文に対して，ベースラインとの対比較評価を行う．判断基準を以下に示す．

提案手法○

提案手法の出力結果がベースラインの出力結果よりも優れている

提案手法×

提案手法の出力結果がベースラインの出力結果よりも劣っている

差なし　　

文質に明確な差がない

同一出力　

完全に同一の出力

表4.8に人手による対比較評価の結果を示す．

(a) 単文(チューニングなし)

表: 人手評価結果

提案手法○	提案手法×	差なし	同一出力
12	4	31	3

(b) 単文(チューニングあり)

提案手法○	提案手法×	差なし	同一出力
2	5	36	7

(c) 重文複文(チューニングなし)

提案手法○	提案手法×	差なし	同一出力
1	1	36	12

(d) 重文複文(チューニングあり)

提案手法○	提案手法×	差なし	同一出力
1	2	43	4

結果より，単文データセットを用いたチューニングなし実験において，提案手法の有効性が認められる．しかし，その他の実験ではベースラインと比較して提案手法の有効性は認められなかった．

それぞれの実験における提案手法○および提案手法×の出力例を，表4.9〜表4.16に示す．

表: 提案手法○の出力例(チューニングなし単文)

入力文	わが 社 は 神戸 から 大阪 へ 移転 し た 。
参照文	Our office removed from Kobe to Osaka .
ベースライン	Our company from Kobe to Osaka .
提案手法	Our company relocated from Kobe to Osaka .
入力文	彼 は 大きな 犬 を 飼っ て いる 。
参照文	He has a big dog .
ベースライン	He has a large have a dog .
提案手法	He has a big dog .
入力文	力 が 全部 抜け て しまっ た 。
参照文	All my strength is gone .
ベースライン	The all .
提案手法	All the power has gone out .

表: 提案手法×の出力例(チューニングなし単文)

入力文	一刻 を 争う 問題 です 。
参照文	It is a burning question .
ベースライン	It is a burning question .
提案手法	a burning question .
入力文	フクロウ は 主 に 夜 飛ぶ 。
参照文	Owls fly chiefly at night .
ベースライン	The owl flies at night .
提案手法	The night owl .
入力文	明日 横浜 へ 参り ます 。
参照文	I am going to Yokohama tomorrow .
ベースライン	I'll come to Yokohama tomorrow .
提案手法	I will go to leaving Yokohama .

表: 提案手法○の出力例(チューニングあり単文)

入力文	労働 力 は まだ 定員 に 達し て い ない 。
参照文	The workforce is not yet up to full strength .
ベースライン	I have not yet reached the limit immigrant labor .
提案手法	The labor has not yet reached the limit .
入力文	火 が 町中 に 広がっ た 。
参照文	Fire swept the town .
ベースライン	The fire propagated across the town .
提案手法	The fire spread all over town .

表: 提案手法×の出力例(チューニングあり単文)

入力文	交通 規則 が この 春 改正 さ れ た 。
参照文	The traffic regulations have been revised this spring .
ベースライン	The traffic rules revision of this spring .
提案手法	The traffic rules have been revised this spring .
入力文	それ に は 料金 が かかり ます 。
参照文	There is a fee for that .
ベースライン	It takes a fee .
提案手法	The for it .
入力文	彼 は 時計 を ３ 分 進め た 。
参照文	He put his watch on three minutes .
ベースライン	He put his watch three minutes .
提案手法	He advanced three minutes a watch .

表: 提案手法○の出力例(チューニングなし重文複文)

入力文	これ が その アルバム で いちばん いい 歌 だ 。
参照文	It is the best song on the album .
ベースライン	This is the best exquisite album .
提案手法	This is the best in the album .

表: 提案手法×の出力例(チューニングなし重文複文)

入力文	折 から の 強風 に あおら れ て 火 は たちまち 広がっ た 。
参照文	Fanned by the strong wind , the fire spread quickly .
ベースライン	Fanned by the strong wind that prevailed at the time ,
	the fire spread quickly .
提案手法	The , the on fire .

表: 提案手法○の出力例(チューニングあり重文複文)

入力文	彼 は 私 を 見る と すぐ 逃げ た 。
参照文	He ran away the moment he saw me .
ベースライン	He is to see me he ran away .
提案手法	He ran away to see me .

表: 提案手法×の出力例(チューニングあり重文複文)

入力文	一番 に 間に合う よう に 早く 起き た 。
参照文	I got up early , so as to be in time for the first train .
ベースライン	I get up early to be in time for the best .
提案手法	The best in time to get up early .
入力文	私 は 夕方 の 混雑 を 避け て 早 目 に 出かけ た 。
参照文	I left early to avoid the evening congestion .
ベースライン	I went to a early avoiding the crowds of the evening .
提案手法	I went to the crowds of our in the evening .