評価パラメータの種類

入力文と文型パターンの照合実験では，入力文に適合した文型パターンが，必ずしも意味的に正しいとは言えない． 例えば，以下の例では，入力文に対してそれぞれ２つの文型パターンが適合するが，いずれの場合も正しいのは＜適合文型１＞であり， ＜適合文型２＞は正しくないため，対応する英語文型パターンは翻訳に使用できない．

例１）係り受け構造の異なる複数の文型パターンに一致する例

入力文：「キャッチャーはバットが回ったとアピールした。」

＜適合文型１＞：$N1$は/$N2$が/$V3$.kakoと/$V4$.kako。

→ $N1$ $V4$.past, saying $N2$ had $V3$.past.
→ The catcher appealed, saying the batter had swung.

＜適合文型２＞：#6[$N1$は]$N2$は/$N1$が/$V3$.kakoと/$V4$.kako。

→ ($N1$|I) $V4$.past that $N1$ $V3$.pft $N2$.
→ The batter appealed that the batter had swung the catcher. （不適切）

（文型２の適例）それは自分がやったと打ち明けた。→ I confied that I had done it.

【説明】

入力文の「は格」は，動作主として，文末の述部「アピールする」に掛かる．＜適合文型１＞は，これと同じ係り受け構造をもち，対応する英語文型パターンから，例にあるような訳文が生成される．しかし，＜適合文型２＞の「は格」（$N2$は）は，$V4$の目的格であり，$V4$に掛かる．このため，入力文の構造と異なり，対応する英語文型パターンは使用できない，なお，＜適合文型２＞の#6[$N1$は]は，省略補完の役割を持ち，入力文に主格の名詞があるときは，それを$N1$にバインドすることを意味している．

例２）主節の述部の意味によって訳し分けるべき複数の文型パターンに適合する例

入力文：「自分でその責任をとることは明らかだ。」

＜適合文型1＞：$N1$で$REN2$ $N3$を/$V4$ことは/明らかだ。

→ It is clear to $V4$ $AJ2$ $N3$ by $N1$.reflex.
→ It is clear to take that responsibility by myself.

＜適合文型2＞：〈$N1$は〉$VP2$ことは/$AJV3$。

→ ($N1$|I)  $V(AJV3)$  $VP2$.ing.
→ I clear taking that responsibility by myself. （不適切）

（文型2の適例）ここで働くことは好きだ。→ I like working here.

＜凡例＞ $REN_n$：連体詞変数，$AJV_n$：形容動詞変数，.reflex：再帰表現変換関数，〈　〉：ゼロ代名詞などの補完主語を表す記号

【説明】

＜適合文型1＞は，文末の述部「明らかだ」が字面で定義された文型パターンに一致しており，対応する英語表現 ``It is clear that 〜'' を使用した翻訳ができる．この入力文は，文末述部が変数化された＜適合文型2＞にも適合するが，この文型は主節の述部を動詞に変換して訳するため，入力文の翻訳に適さない．

そこで，被覆率を「再現率」と「意味適合率」に分けて評価する．但し，「再現率」は，「入力文の何パーセントに対して適合文型パターンが存在するか」を表し，「意味適合率」は，「適合文型パターンのうちどれだけの文型パターンが意味的に正しいか」を表す．

このうち，まず，「再現率」の評価方法であるが，文型照合プログラムは，入力文と文型パターンとの照合において，当該文型パターンのすべての要素が指定された順に出現するような入力文である時，その文型パターンを適合文型パターンと判定する．すなわち，ある文型パターンが入力文との照合に成功するには，文型パターンで指定された要素がすべて入力文に存在しなければならないが，逆に，入力文のすべての要素が文型パターンで指定されている必要はない．そこで，適合文型パターンを以下の２種類に分類する．

＜「完全一致」する文型パターン＞

 
入力文のすべての要素が文型パターンの要素と適合する文型パターン．但し，文型パターン中の「文型任意要素」に該当する要素は，入力文中になくても良い．

＜「部分一致」する文型パターン＞

 
入力文の一部の要素が指定されない文型パターン．すなわち，入力文が，「原文任意記号（離散記号）」の部分に該当する部分を持つ文型パターン．

下記に入力文に「完全一致」する文型パターンと「部分一致」する文型パターンの例を示す．

例）入力文に「完全一致」又は「部分一致」する単語レベル文型パターンの例

入力日本文：「その飛行機は荷物を積み残して出発した。」

＜完全一致する文型パターン＞

Wn：は単語レベルの文型パターン，Pnは句レベルの文型パターンを意味する．

(W1)	$REN1$/	$N2$は/	$N3$を/	積み残して/	$V4$.kako。
	その	飛行機は	荷物を	積み残して	出発した。
	→$AJ1$ $N2$ $V4$.past before some $N3$ could board.

(W2)	#1[$REN2$]/	$N3$は/	#4[$NUM5$の]/	$N6$を/	$V7$て/	$V8$.kako。
	その	飛行機は		荷物を	積み残して	出発した。
	→ #1[$AJ2$] $N3$ be.past $V8$.ed by $V7$.ing #4[$NUM5$] $N6$.

(P1)	$NP1$は/	$N2$を/	#3[大きく]/	$V4$て/	$VP5$.kako。
	その飛行機は	荷物を		積み残して	出発した。
	→ With $N\left( V4 \right)$ of $NP1$.poss $N2$ $NP1$.pron $VP5$.past.

(P2)	＜$N1$は＞/	$VP2$て/	$VP3$.kako。
	その飛行機は	荷物を積み残して	出発した。
	→ ($N1$ $\vert$ I) $VP2$.past and $VP3$.past.

＜凡例＞$NUM_{n}$：数詞変数， $N\left( V_{n} \right)$：変数を引数とする「変数関数」で，引数の変数値（この場合は動詞）を変数名の品詞（この場合は名詞）に変換する．

【説明】いずれも入力文の全要素が文型パターンの要素に一致する．但し，W2，P1では#n［　］の部分に該当する入力文要素はないが，これらは「文型任意要素」なので，なくても良いと判断される．

＜部分一致する文型パターン＞

文型パターンに存在しない入力文の要素を《　》の記号で示す．

(W1)	$REN1$/	$N2$は	/	$V3$て/	$V4$.kako。
	その	飛行機は	《荷物を》	積み残して	出発した。
	→$AJ1$ $N2$ be .past $V3$.ed and $V4$.

(W2)	#1[$REN2$]/	$N3$は/	#4[$N5$の]/#6[$AJV7$]/	$N8$を	/	$V9$.kako。
	その	飛行機は		荷物を	《積み残して》	出発した。
	→#1[$AJ2$] $N3$ $V9$.past #6[$AJ7$] $N8$ #4[of the $N5$].

(P1)	$NP1$は/	$VP2$	/	$V3$.kako。
	その飛行機は	荷物を積み残し	《て》	出発した。
	→$NP1$ $VP2$.past and $V3$.past.

(P2)	$NP1$	/	$VP2$て/	$VP3$.kako。
	その飛行機	《は》	荷物を積み残して	出発した。
	→$NP1$ $VP2$.past for $VP3$.ing.

【説明】《　》の記号で表された要素は，「離散記号``/''」と照合され，「原文任意要素」と判定される．また，W2の``#4[$N5$の]/#6[$AJV7$]''の部分は省略できる要素なので，不足する要素とは見なされない．文型パターンによる入力文のカバー率は，（入文文字数−《》部分の文字数）／（入力文文字数）で計算される．

このように，適合文型パターンだとは言え，必ずしも入力文のすべての要素に対して解釈を与えるものではないから，適合文型パターンについて，それが入力文の何%をカバーしているか（入力文カバー率）が問題となる． そこで本稿では，「再現率」を，「入力文単位で見た再現率」を意味する「文型再現率」と「入力文の文字単位で見た再現率」を意味する「文型一致率」の２つのパラメータを使用して評価する．

次に，「意味適合率」であるが，適合した文型パターンには，すでに述べたように，対応する英語文型パターンが翻訳に使用できるものと，そうでないものが存在するため，翻訳に使用できる文型パターンを選択する方法が問題となる． そこで，ランダムに選択する場合（最悪の場合）ともっとも適切なものが選択できた場合（最良の場合）を考え，評価では，「適合した文型パターンの一つ一つが意味的に正しいかどうか」を表す「適合文型意味正解率」と「１入力文に適合した文型パターン（１つ以上）の中に意味的に正しい文型パターンが１つ以上含まれる割合」を示す「適合文型正解含有率」を評価パラメータとして使用する．

以下，「再現率」と「意味適合率」を評価するためのパラメータの計算方法を示す．