オープンテストの流れと評価方法

原文に応じて絞り込む手法の性能を調査するため，新聞記事・アンカー 英和辞典・和英辞典・学研英和辞典・基本語用例辞典・英語表現辞典の 対訳コーパスから比較文を192文抽出し，本手法を適用する． 以下にオープンテストの手順を図8に示す.

  

Figure 8: 意味類型を用いたパターン対応・絞り込みの流れ

オープンテストの評価方法を以下に示す．

1.

カバー率は原文より抽出した原言語パターンがパターン表に適合した割合と 定義する．

2.

「平均同値パターン数」は，原言語のパターンに意味と品詞が対応する パターンの数と定義する．

3.

「一意対応割合」は，原言語のパターンと 目的言語のパターンが1対1で 対応し，パターンを絞り込む必要 がなかった割合と定義する．

4.

「原文に応じて絞り込めた割合」は，パターン外意味・ 変数意味情報を利用して 原文に応じてパターンを絞り込めた割合と定義する．

5.

「原文に応じて絞り込みパターンが適していた割合」は，と原文に応じて絞り込んだ パターンとはじめからデフォルトパターンを用いた場合を比較し， 原文に応じて絞り込んだパターンが適切だった割合を示す．

6.

「デフォルトパターンが適していた割合」は，同様にはじめからデフォル トパターンを用いた場合の方が原文に適切だった割合を示す．