実験

3章で作成した翻訳方法の精度を新聞記事、機能試験文集の2種類の対訳コーパスを使用して評価する。機能試験文集 は日英機械翻訳の機能をテストするために編集された約6200文の対訳コーパスである。また、本研究で提案した翻訳規則の有効性を評価するため，頻度が最も高い翻訳を正解とする翻訳方法の結果(以降 「デフォルト値」で示す)とも比較する。

1:新聞記事に含まれる数量表現(クローズドテスト)

2:機能試験文集に含まれる数量表現(オープンテスト)

なお、新聞記事を対象とする評価実験は，翻訳規則の検討で使用したデータと同一のデータを対象とするもので，ク ローズドテストであるのに対して，機能試験文集を対象とする評価実験は，オー プンテストである。評価方法と評価結果、各接頭・接尾辞の評価をそれぞれ 式(1)、表8、9に示す。

$$正解率 ＝ \frac{正しい翻訳候補}{全データ} \hspace{20mm} (1)$$

表8: 評価結果(翻訳の正解率)

	本研究の規則	デフォルト値
新聞記事(頻度) (クローズドテスト)	70%(354/504)	49%(247/504)
機能試験文集(頻度) (オープンテスト)	65%(45/69)	60%(42/69)

表9：各接頭・接尾辞の正解率

−		新聞記事			機能試験文集
接頭・接尾辞		頻度	正解率	デフォルト値	頻 度	正解率	デフォルト値
数の概略	約	102/138	73.4%	60/138	7/7	100%	7/7
	前後	14/16	87.5%	7/16	1/1	100%	1/1
	程度	29/43	67.4%	19/43	4/4	100%	3/4
数の上限	以上	31/47	66.0%	17/47	11/21	66.0%	7/21
	以下	3/8	37.5%	2/8	5/5	100%	2/5
	以内	2/3	66.7%	1/3	0	-	-
	強	5/9	55.6%	4/9	0	-	-
	弱	6/7	76.9%	3/7	0	-	-
数の増幅	増	15/34	44.1%	11/34	3/9	33.3%	5/9
数の性質	平均	5/9	55.6%	4/9	0/1	0%	1/1
	計	10/13	76.9%	6/13	0	-	-
	合計	4/7	57.1%	4/7	1/1	100%	1/1
数の順序	第	82/100	82%	72/100	9/13	69.2%	9/13
年月の割合	月間	10/13	76.9%	6/13	0/1	-	-
	月産	10/14	71.4%	7/14	0/1	-	-
	月	1/3	33.3%	1/3	0	-	-
	年間	16/19	84.2%	9/19	4/4	100%	3/4
	年産	2/7	28.6%	4/7	0	-	-
	年	6/14	42.9%	5/14	0	-	-