結果

人による評価の平均値と内訳を表21に示す．なお，表21の内訳の その他は，入力日本語文と日本語パターンの照合で適合する日本語パターンが ない場合である．平均値の計算は，その他は含んでいない．また，参考として， 3種類の一般の翻訳システムを用い，同じ入力文，評価基準にて人による評価を 行った．一般の翻訳システムの評価を表22に示す．

クローズドテストでは，英文の表現生成には，入力日本語文から作成された英 語パター ンを用いているので，単語の誤訳，パターン自体の間違いにのみ左右される． 表21では，評価値4が約50%を占め，評価値3が約40%を占めた．

クロスバリデーションテストおよびオープンテストは，現状では良い英訳を生 成できなかった．更に，適合する日本語パターンがない場合が多い．

表 21: 人による評価の平均値と内訳

テスト	平均値	内訳
		評価値4	評価値3	評価値2	評価値1	その他
入力1	3.5	54.4%	42.8%	2.8%	0.0%	-
(クローズド)		(136/250)	(107/250)	(7/250)	(0/250)
入力1	2.2	8.8%	11.2%	27.2%	14.8%	38.0%
(クロスバリ		(22/250)	(28/250)	(68/250)	(37/250)	(95/250)
デーション)
入力2	1.6	1.0%	1.5%	16.5%	16.5%	64.5%
(オープン)		(2/200)	(3/200)	(33/200)	(33/200)	(129/200)

表 22: 一般の翻訳システムの評価

システム	入力文	平均値	内訳
			評価値4	評価値3	評価値2	評価値1
システム1	入力文1	2.7	25.2%	32.4%	33.2%	9.2%
			(63/250)	(81/250)	(83/250)	(23/250)
	入力文2	2.6	16.0%	37.0%	36.5%	10.5%
			(32/200)	(74/200)	(73/200)	(21/200)
システム2	入力文1	3.2	46.8%	31.6%	19.2%	2.4%
			(117/250)	(79/250)	(48/250)	(6/250)
	入力文2	3.0	36.5%	31.0%	29.0%	3.5%
			(73/200)	(62/200)	(58/200)	(7/200)
システム3	入力文1	3.4	58.0%	24.4%	15.6%	2.0%
			(145/250)	(61/250)	(39/250)	(5/250)
	入力文2	3.3	53.5%	26.0%	19.5%	1.0%
			(107/200)	(52/200)	(39/200)	(2/200)

評価の例を以下に示す．
評価値4となった事例
(例1)
入力文：欠点はあるがそれでも彼が好きだ。
英語原文：I like him in spite of his faults .
日パターン：$N1$ はあるが(それ|其)でも<$N2$は > $N3$が$AJV4$。
英パターン：<I|$N2$> $V4$ $N3$^$obj$ in spite of $N3$^$poss$ $N1$.
バインド値：$N1$=欠点，$N3$=彼，$AJV4$=好きだ
出力：I like him in spite of his faults .

出力が理想解と同じになった．誤訳を含んでいないため評価値は4となった．
(例2)
入力文：足音が遠くて聞こえなくなった。
英語原文：His footsteps died away in the distance .
日パターン：$N1$が$AJ2$(て|で)聞こえなくなった。
英パターン：$N1$ died away in $N2$.
バインド値：$N1$=足音，$AJ2$=遠く
出力：Footsteps died away in a long way .

出力が理想解と同じではないが，SVOCの関係が正しく構成されており，誤訳を 含んでいないため評価値は4となった．
評価値3となった事例
(例1)
入力文：子どもは厳しく育てろというのが彼の持論だ。
英語原文：His theory is that children need strict discipline.
日パターン：$1^{$N1$ は} $ADV2$ $1 ($V3$^$meirei$|$V3.meireigo$) (という|と言う) のが $N4$ の
    $N5.\char93 da$ 。
英パターン：$N4$^$poss$ $N5$ be that $N1$ need $AJ2$ $N3$.
バインド値：$N1$=子ども，$ADV2$=厳しく，$V3$=育てろ，$N4$=彼， $N5$=持論
出力：His theory be that children need strict nurture .

出力は，be動詞が原形で書かれている．そのため，誤訳と判断し評価値 は3となった．
(例2)
入力文：僕らは監事局へ呼び出されて調べられた。
英語原文：We were summoned and examined before the inspector.
日パターン：$1^{$N1$ は} $N2$ 局へ $1 $V3.reru$ (て|で) $1 $V4.rareru.kako$ 。
英パターン：$N1$ $V3$^$past$^$passive$ and $V4$^$ed$ before $N2$.
バインド値：$N1$=僕ら，$N2$=監事，$V3$=呼び出さ，$V4$=調べ
出力：I was called and examined before inspector .

出力は，``I was $\ldots$''となっており単数形である．入力は，``僕ら''で あり複数形のため，誤訳と判断し，評価値は3となった．
評価値2となった事例
(例1)
入力文：愛情を持続させることは難しい。
英語原文：It is hard to keep love alive.
日パターン：$N1$ を ($V2.sase$^$rentai$|$V2$^$sase$^$rentai$) ことは $AJ3$ #4($.genzai$|$.kako$) 。
英パターン：It @be#1(^$present$|^$past$) $AJ3$ to $V2$^$base$.
バインド値：$N1$=愛情，$V2$=持続さ，$AJ3$=難しい
出力：It is difficult to stay .

出力は，目的語である``愛情を''の訳出が消失している．SVOCの関係が部分的 に構成されているので，評価値は2となった．しかし，原因は英語パターンであ る．日本語パターンで目的語を表す$N1$は重要な情報であるが，英語パターンは 対応する変数の記述がない．
(例2)
入力文：どろぼうはお金だけ盗んで何の証拠も残さずに逃げた。
英語原文：The thief stole only money and made off without leaving the slightest evidence
    behind.
日パターン：$1^{$N1$ は} $N2$ だけ $V3$ (て|で) $1 何の $N4$ も $V5.hitei$ に $V6.kako$ 。
英パターン：$N1$ $V3$^$past$ only $N2$ and $V6$^$past$ without $V5$^$ing$.
バインド値：$N1$=どろぼう，$N2$=お金，$V3$=盗ん，$N4$=証拠，$V5$=残さ，$V6$=逃げ
出力：Thieves stole only costs and ran without leaving .

出力は，入力の``何の証拠も''の訳出が消失している．SVOCの関係が部分的 に構成されているので，評価値は2となった．しかし，原因は英語パターンであ る．$N4$のバインド値は存在し，``証拠''は重要な情報であるが，英語パター ンに対応する変数の記述がない．