人手評価結果

3種の確率を用いた出力文1000文ずつから，それぞれランダムに抽出した100文を用いて，人手による対比較評価を行う． 評価の基準を以下に示す．

• 従来○：従来手法の出力文が最も優れている
• 提案1○：提案手法1の出力文が最も優れている
• 提案2○：提案手法2の出力文が最も優れている
• 従来×：従来手法の出力文だけが劣っている
• 提案1×：提案手法1の出力文だけが劣っている
• 提案2×：提案手法2の出力文だけが劣っている
• △ ：全ての文で意味を読み取れない，ほぼ同一である，または同一の出力

出力文の人手評価結果を表5.1に示す．

表 5.1: テスト文100文の人手評価の結果

$従来○$	$提案1○$	$提案2○$	$従来×$	$提案1×$	$提案2×$	△
6	14	3	0	6	9	62

出力文の各例を以下の表5.2から表5.7に示す．なお各表のフレーズ確率，フレーズ確率の総積，Dice係数と類似度の積は翻訳時に使用する句レベル文パターン中の変数部の確率の和である．

表 5.2: 従来○の例

入力文	日記 を つけ はじめた 。
参照文	I've started a journal .
従来出力文	I began to write a diary .
パターン(日)	N00 を つけ N01 た 。
パターン(英)	I Ｎ01 write a Ｎ00 .
言語翻訳確率	-29.881766
文パターン確率	-13.009582
フレーズ確率	-3.599263
提案1出力文	The Army began the diary .
パターン(日)	N00 を つけ はじめ た 。
パターン(英)	The Army began the Ｎ00 .
言語翻訳確率	-34.287694
文パターン確率	-23.354406
フレーズ確率の総積	-15.255424
提案2出力文	The Army began the diary .
パターン(日)	N00 を N01 。
パターン(英)	Ｎ01 the Ｎ00 .
言語翻訳確率	-34.287694
文パターン確率	-2.476900
Dice係数と類似度の積	-0.148458
入力文	その 火事 は １０ 日 前 に 起こっ た 。
参照文	The fire took place ten days ago .
従来出力文	The fire broke out in 10 days before .
提案1出力文	The fire broke out before the tenth .
提案2出力文	The fire broke out in front of the tenth .
入力文	彼 は 過去 の 経験 に 頼っ た 。
参照文	He drew on his past experience .
従来出力文	He relied on his past experience .
提案1出力文	He was past dependent on his experience .
提案2出力文	He is economically dependent on his past experience .

表 5.3: 提案1○の例

入力文	神社 の 境内 で 落ち葉 を 燃やし て いる 。
参照文	They are burning fallen leaves
従来出力文	The shrine is Inside burned fallen leaves .
パターン(日)	N05 N02 N03 N04 を N00 N01 。
パターン(英)	Ｎ02 Ｎ05 Ｎ01 Ｎ03 Ｎ00 Ｎ04 .
言語翻訳確率	-66.728267
文パターン確率	-6.025362
フレーズ確率	-20.106336
提案1出力文	I have burned the fallen leaves
パターン(日)	N03 の N00 N02 N04 N01 。
パターン(英)	I Ｎ01 Ｎ04 Ｎ02 the Ｎ03 Ｎ00 .
言語翻訳確率	-72.737649
文パターン確率	-7.34012
フレーズ確率の総積	-98.927199
提案2出力文	The shrine is Inside burned fallen leaves .
パターン(日)	N05 N02 N03 N04 を N00 N01 。 "
パターン(英)	Ｎ02 Ｎ05 Ｎ01 Ｎ03 Ｎ00 Ｎ04 .
言語翻訳確率	-66.728267
文パターン確率	-6.025362
Dice係数と類似度の積	-8.828174
入力文	彼 は 法律 の 適用 を 誤っ た 。
参照文	He made a mistake in the application of the law .
従来出力文	He misallocated the laws of minors .
提案1出力文	He took a wrong to invoke the law .
提案2出力文	He misallocated the Disaster Relief Law in the law .
入力文	マイケル ・ ジャクソン が 新曲 を 吹き込ん だ 。
参照文	Michael Jackson has recorded a new song .
従来出力文	The Michael Jackson inspired a new song recorded .
提案1出力文	The Michael Jackson recorded a new song .
提案2出力文	He helped usher in a new Michael Jackson .

表 5.4: 提案2○の例

入力文	わたし は 悔い の ない 生涯 を 送り たい 。
参照文	I'd like to live my life without regrets .
従来出力文	I want to see life is not of regret .
パターン(日)	N01 は N04 の N06 N03 N05 N02 N00 。
パターン(英)	Ｎ01 Ｎ00 Ｎ05 Ｎ02 Ｎ03 Ｎ06 of Ｎ04 .
言語翻訳確率	-72.387453
文パターン確率	-2.649630
フレーズ確率	-22.870618
提案1出力文	I I wish regretted life .
パターン(日)	N03 は N02 の ない N01 を N00 。
パターン(英)	Ｎ03 Ｎ00 Ｎ02 Ｎ01 .
言語翻訳確率	-83.460649
文パターン確率	-22.288554
フレーズ確率の総積	-65.575554
提案2出力文	I want to lead a life no my regret .
パターン(日)	N04 は N02 の N01 N00 を N03 。
パターン(英)	Ｎ03 a Ｎ00 Ｎ01 Ｎ04 Ｎ02 .
言語翻訳確率	-71.683916
文パターン確率	-6.206232
Dice係数と類似度の積	-11.858005
入力文	彼女 は 足 を くじい た 。
参照文	She sprained her ankle .
従来出力文	She sprained my ankle .
提案1出力文	She sprained my ankle .
提案2出力文	She twisted her leg .
入力文	彼 は オートバイ の エンジン を ふかし た 。
参照文	He gunned the motorcycle engine into life .
従来出力文	He puffed at his motorcycle engine .
提案1出力文	He took a pull at his motorcycle engine .
提案2出力文	He took his motorcycle engine .

表 5.5: 提案1×の例

入力文	主人 は 客 に 椅子 を 勧め た 。
参照文	The host waved his guests to a seat .
従来出力文	The host offered the guest the seat .
パターン(日)	N03 は N01 に N00 N02 N04 た 。
パターン(英)	Ｎ03 Ｎ04 the Ｎ01 Ｎ02 Ｎ00 .
言語翻訳確率	-26.036633
文パターン確率	-6.831383
フレーズ確率	-20.436261
提案1出力文	The host offered the guest a glass
パターン(日)	主人 は 客 に N00 を 勧め た 。
パターン(英)	The host offered the guest a glass of Ｎ00 .
言語翻訳確率	The host offered the guest a glass of Ｎ00 .
文パターン確率	-17.908530
フレーズ確率の総積	-21.484719
提案2出力文	The host offered the guest the seat .
パターン(日)	N01 は N00 に N02 N03 た 。
パターン(英)	Ｎ01 Ｎ03 the Ｎ00 Ｎ02 .
言語翻訳確率	-26.036633
文パターン確率	-8.155711
Dice係数と類似度の積	-12.526808
入力文	この 汽車 に 犯人 が 乗り込ん だ らしい 。
参照文	The culprit seems to have got on this train .
従来出力文	The criminal seems to be loaded in the this train .
提案1出力文	The criminal seems got is the this train .
提案2出力文	The criminal seems to be loaded in the this train .
入力文	その 馬 に は 彼 が 乗る 。
参照文	The horse is jockeyed by him .
従来出力文	He holds the horse .
提案1出力文	The horse holds him .
提案2出力文	He holds the horse .

表 5.6: 提案2×の例

入力文	ハンカチ に 自分 の 名前 を 刺しゅう し た 。
参照文	I embroidered my name
従来出力文	She embroidered her name
パターン(日)	ハンカチ N00 N02 を N01 た 。
パターン(英)	She Ｎ01 her Ｎ02 Ｎ00 a handkerchief .
言語翻訳確率	-51.192848
文パターン確率	-7.890944
フレーズ確率	-10.521583
提案1出力文	She embroidered her name
パターン(日)	N01 に N00 を 刺しゅう し た 。
パターン(英)	She embroidered her Ｎ00 on her Ｎ01 .
言語翻訳確率	-59.809190
文パターン確率	-11.290342
フレーズ確率の総積	-28.022058
提案2出力文	She embroidered her initials
パターン(日)	N02 に N01 を N00 。
パターン(英)	Ｎ00 a Ｎ01 Ｎ02 .
言語翻訳確率	-38.325355
文パターン確率	-8.208456
Dice係数と類似度の積	-6.702979
入力文	健康 に は いつも 注意 し て いる 。
参照文	I am always careful about my health .
従来出力文	There is always pays attention to the health .
提案1出力文	Health is always attention .
提案2出力文	I always take the warning .
入力文	彼 は 客 から 注文 を とっ た 。
参照文	He took the customer's order .
従来出力文	He took the order from the customer .
提案1出力文	He took the order from the customer .
提案2出力文	He took my order for the guest .

表 5.7: 全ての文で意味を読み取れない，ほぼ同一である，または同一の出力例

入力文	契約 を 守ら ない 方 が 悪い のだ 。
参照文	The fault is with the one has not
従来出力文	not signed preserve of a bad person .
パターン(日)	N05 N04 N00 N02 N01 N03 だ 。
パターン(英)	Ｎ00 Ｎ05 Ｎ04 Ｎ03 Ｎ01 Ｎ02 .
言語翻訳確率	-79.228048
文パターン確率	-7.824789
フレーズ確率	-28.636751
提案1出力文	is toword the bad keep their contact .
パターン(日)	N04 N01 N03 N02 N00 N05 だ 。
パターン(英)	Ｎ03 Ｎ02 Ｎ05 Ｎ00 Ｎ01 Ｎ04 .
言語翻訳確率	-97.000000
文パターン確率	-8.485753
フレーズ確率の総積	-101.084818
提案2出力文	The riddance jealously lease
パターン(日)	N01 N04 N02 N00 が N03 。
パターン(英)	The Ｎ00 Ｎ02 Ｎ01 Ｎ04 Ｎ03 .
言語翻訳確率	-78.458952
文パターン確率	-3.281977
Dice係数と類似度の積	-11.793332
入力文	ここから 港 が よく 見える 。
参照文	We can see the whole harbor from here .
従来出力文	I see harbor well from here .
提案1出力文	I see harbor well from here .
提案2出力文	Here you can see the harbor .
入力文	彼ら は 逃げ腰 に なっ た 。
参照文	They were ready to flee .
従来出力文	They became 逃げ腰 .
提案1出力文	They became 逃げ腰 .
提案2出力文	They became 逃げ腰 .