実験

3章で作成した翻訳方法の精度を新聞記事、機能試験文集の2種類の対訳コーパスを使用して評価する。機能試験文集 は，日英機械翻訳の機能をテストするために編集された約6200文の対訳コーパスである。 　また、本研究で提案した翻訳規則の有効性を評価するため，頻度が最も高い翻訳を正解とする翻訳方法の結果(以降 「デフォルト値」で示す)とも比較する。

1:新聞記事に含まれる数量表現(クローズドテスト)
2:機能試験文集に含まれる数量表現(オープンテスト)

なお、新聞記事を対象とする評価実験は，翻訳規則の検討で使用したデータと同一のデータを対象とするもので，ク ローズドテストであるのに対して，機能試験文集を対象とする評価実験は，オープンテストである。評価方法と評価を 以下に記す。

$$正解率 ＝ \frac{正しい翻訳候補}{全データ}$$

表3:評価実験

	本研究の翻訳方法	デフォルト値
-	正解率	正解率
新聞記事	70%	49%
頻度(クローズド)	(354/504)	(247/504)
機能試験文集	66%	61%
頻度(オープン)	(45/69)	(42/69)