評価方法

出力英文の意味的な正しさを人手で評価する．そこでは，クローズドテストと， 参考として，クロスバリデーションテストおよびオープンテストを行う．

クローズドテスト，クロスバリデーションテストおよびオープンテストの違い は，入力日本語文，照合する日本語パターン集の違いを示す．

• クローズドテスト
  入力日本語文は文型パターン作成に使用した日本語，照合する 日本語パターンは入力日本語文から作成された日本語パターンのみであ る．
• クロスバリデーションテスト
  入力日本語文は文型パターン作成に使用した日本語，照合する日本語パ ターンは入力日本語文から作成された日本語パターン以外の日本語パター ンのみである．
• オープンテスト
  入力日本語文は文型パターン作成に用いてない日本語，照合する日本語 パターンは全ての日本語パターンである．

翻訳対象は，クローズドテストおよびクロスバリデーションテストは， 5.2節と同じ計250文(入力1)を対象とし，オープンテストは，文型パ ターン作成の際には使用していない日本語文集からランダムに抽出した計200文 (入力2)を対象とする．評価基準を以下に示す．

評価値4：

SVOCの関係が正しく構成されており，単語の誤訳がない

評価値3：

SVOCの関係が正しく構成されているが，単語の誤訳がある

評価値2：

SVOCの関係が部分的に構成されている

評価値1：

SVOCの関係が正しく構成されていない