next up previous contents
次へ: 評価パラメータの測定方法 上へ: 被覆率調査における評価パラメータ 戻る: 文型パターン   目次

評価パラメータの種類

入力日本文の翻訳に使用できる文型パターンは,必ずしも入力文のすべての要素 が適合する文型パターンである必要はなく,入力文の主要な構造が適合し意味的 に正しい文型パターンであればよい.文型照合プログラムは,入力文に対して,当 該文型パターンのすべての要素が,定義された順に出現する文型パターンを,適合文 型として抽出するので,適合文型は,以下の2種類に分類できる.
<完全一致文型>:入力文のすべての要素が文型パターンの要素と適合する文型 パターン
<部分一致文型>:入力文の一部の要素が文型パターンに定義されない要素とな る文型パターン

従って,適合文型とはいえ,必ずしも入力文のすべての要素が解釈を与えるもので はないので,適合文型について,それが入力文の何%をカバーしているかが問題と なる.

そこで本稿では,[2],[4]で示されている評価パラメータを使用する. 以下に,概略を説明する.
(1)文型再現率$R1$

$R1$は「全入力文のうち,適合文型パターンが存在した入力文の割合」 を表し,以下の式で定義される.

$\displaystyle R1 = M / I$     (1)

$I$:テスト用入力文の数
$M$:「自己文型パターン」以外の適合文型パターンが1つ以上存在し た入力文の数
(2)文型一致率$R2$

$R2$は「入力文の文字単位に見た再現率」を表すもので,以下の式で定義される.

$\displaystyle R2 = \displaystyle \sum^k_{j=1}M_j/\sum^I_{i=1}N_i$     (2)

$Ni$:i番目の入力文の文字数
$k$:自己文型パターン以外に適合文型パターンがある入力文の数
$Mj$:「最尤文型パターン」と一致する入力文の文字数
但し,「最尤文型パターン」とは,「自己文型パターン 」以外の適合文型パターンのうち,最も広範囲に入力文と一致する文型パ ターンを言う.
(3)完全一致平均適合パターン数$N1$

$N1$は「入力文に対する完全一致適合文型パターン数の平均値」を表し,以下の式で定義 される.

$\displaystyle N1 = P_{N1} / I$     (3)

$P_{N1}$:完全一致適合文型パターン数
(4)部分一致平均適合パターン数$N2$

$N2$は「入力文に対する部分一致適合文型パターン数の平均値」を表し,以下の式で定義 される.

$\displaystyle N2 = P_{N2} / I$     (4)

$P_{N2}$:部分一致適合文型パターン数
(5)平均適合パターン数$N$

$N$は「入力文に対する適合文型パターン数の平均値」を表し,以下の式で定義 される.

$\displaystyle N = P / I = N1 + N2$     (5)

$P$:適合文型パターン数
(6)文型パターン拡大率${\eta }$

${\eta }$は「評価対象の対象パターン辞書が基準パターン辞書の文型パターン数に換算して,何倍に相当するか」を表し,以下の式で定義される.

$\displaystyle {\eta} = X / B$     (6)

$B$:基準パターン辞書の文型パターン数
$X$:対象パターン辞書の文型パターン数の換算値

平成17年3月22日