対比較評価

単文と重文複文において，提案手法1の出力文とベースラインの出力文からラン ダムに抽出した100文を用いて，対比較評価を行なった． 評価基準は以下に示す．
提案手法○ : 提案手法の方が良い
提案手法× : 提案手法の方が悪い
提案手法△ : 提案手法と比較対象の文の単語対応や伝わる意味に差がない
提案手法= : 提案手法と比較対象の文がまったく同じ
以下の表3から表10にそれぞれの判断基準の例を示し，評価結果を表11に示す．

表 3: 提案手法○の例(単文)

例1
日本語文	お 問合せ の 会社 は 、 １ ９ ｘｘ 年 に 設立 さ れ まし た 。
正解文	The company you inquired about was established in 19xx .
ベースライン	The company was established in the 問合せ you , 19xx .
提案手法1	The company that inquired was established in 19xx age .
例2
日本語文	キャンプ ファ イヤー の 火 が 赤 々 と 燃え て いる 。
正解文	The camp fire flames are burning brightly .
ベースライン	The fire is burning brightly in the camp fire .
提案手法1	The fire of the campfire is burning brightly .
例3
日本語文	旗 が 垂れ下がっ て いる 。
正解文	The flag is drooping .
ベースライン	are drooping flag .
提案手法1	The flag is hanging down .

表 4: 提案手法○の例(重文複文)

例1
日本語文	前田 さん は 受験 に 失敗 し て 予備校 に 行っ て いる 。
正解文	Maeda flunked the entrance exams and is now attending yobiko .
ベースライン	He has gone to Mr . 前田 予備校 failed the exam .
提案手法1	Maeda failed the exam and went to the prepschool .
例2
日本語文	雨 が やみ まし た から 、 傘 を 畳み ましょ う 。
正解文	It stopped raining . Let's close an umbrella .
ベースライン	The rain , so let's have A 畳み an umbrella .
提案手法1	The rain has stopped , let's folding umbrella .
例3
日本語文	あれ だけ 懲らしめれ ば 、 懲りる だろ う 。
正解文	If you are punished so , you will probably learn your lesson .
ベースライン	He 懲りる , you will 懲らしめれ .
提案手法1	If that is punished , it will learn .

表 5: 提案手法×の例(単文)

例1
日本語文	そんなに いらいら し ない で 。
正解文	Don't get so agitated .
ベースライン	That's not irritated .
提案手法1	I don't get irritated so much .
例2
日本語文	その こと で 君 と 賭け を しよ う 。
正解文	I'll bet you on it .
ベースライン	I'll bet with you about it .
提案手法1	Let's go by that with you .

表 6: 提案手法×の例(重文複文)

例1
日本語文	それ は とても 甘い 処置 だ 。
正解文	That is a very lenient way of dealing with the situation .
ベースライン	It was a very sweet step .
提案手法1	It is very sweet .
例2
日本語文	わざわざ 見 に 行く 価値 は 無い 。
正解文	It is not worth going out of your way to see it .
ベースライン	Do not go to see value .
提案手法1	There is no value of him .

表 7: 提案手法△の例(単文)

例1
日本語文	私 に は この 文 の 意味 が 分から ない 。
正解文	I cannot make out the meaning of this sentence .
ベースライン	I don't understand this sentence .
提案手法1	I don't know the meaning of this sentence .
例2
日本語文	肉 が 鍋 の 中 で ジュー ジュー パチパチ と 音 を たて た 。
正解文	The meat hissed and spluttered in the skillet .
ベースライン	The meat パチパチ and sound ジュー ジュー in the pot .
提案手法1	Meat made ジュージューパチパチ and noise in the pan .

表 8: 提案手法△の例(重文複文)

例1
日本語文	支払い 条件 について 詳細 に 話し合い たい と 思い ます 。
正解文	We would like to discuss the terms of payment in more detail .
ベースライン	I would like to talk to details about payment terms .
提案手法1	I would like to discuss payment terms in detail .
例2
日本語文	なに を さし て も そつ が 無い 。
正解文	He acquits himself well in everything .
ベースライン	そつ even meant anything .
提案手法1	It is not なにをさしてもそつ .

表 9: 提案手法=の例(単文)

日本語文	彼女 は 我々 に 会い に 来 た 。
正解文	She came to see us .
ベースライン	She came to see us .
提案手法1	She came to see us .

表 10: 提案手法=の例(重文複文)

日本語文	彼 は 歯 を 食いしばっ て 痛み を こらえ た 。
正解文	He gritted his teeth in pain .
ベースライン	He clenched his teeth against the pain .
提案手法1	He clenched his teeth against the pain .

表 11: 対比較評価

	提案手法○	提案手法×	提案手法△	提案手法=
単文	79 /100	6 /100	12 /100	3 /100
重文複文	49 /100	14 /100	33 /100	4 /100

結果より，ベースラインと提案手法を比較したときでは，単文と重文複文の両方に おいて，``提案手法の方が良い''が選択された数が最も多く，提案手法の効果が確認 できた．