実験結果の解析

本実験では、サンプリングデータが少なく各実験結果の差異はデータ固有の 特性であると考えられるため、実験結果の解析では各実験結果をまとめ評価を 行った。

結合価パターンの制約条件を満たさなかった文中の意味的に誤っている文(評価C+D)を 生成された全単文中の意味的に誤っている文 で割った値を意味的不整合性を見逃さない割合として表4に示す。

結合価パターンの制約条件を満たした文中の意味的に適切な文(評価A+B)を 生成された全単文中の意味的に適切な文 で割った値を意味的整合性を見逃さない割合として表5に示す。 表5の意味的に適切な文とする範囲を評価Aのみとした値を表6に示す。 また、表4〜6の結果を図6のグラフで示す。 なお表中の数値は実験1〜4の平均値である。

 

Table 8: 意味的不整合性を見逃さない割合(評価C+D)

格要素数	1	2	3
文の割合(%)	68.8	97.7	99.2
	(33561/48771)	(54192/55446)	(58653/59150)

 

Table 9: 意味的整合性を見逃さない割合(評価A+B)

格要素数	1	2	3
文の割合(%)	68.4	13.8	6.2
	(7680/11229)	(628/4554)	(53/850)

 

Table 10: 意味的整合性を見逃さない割合(評価A)

格要素数	1	2	3
文の割合(%)	80.1	18.0	16.3
	(4006/4935)	(361/2007)	(21/129)

 

Figure 6: 格要素数による意味的整合性と意味的不整合性を見逃さない割合

この結果以下のことが示された。

1.

表4より、意味的に誤っている文を見逃さない割合は 最大で99%あった。 また、格要素数が多いほど意味的に誤っている文を見逃さない 割合は多くなる。

2.

表5,6より、意味的に適切な文とする範囲によって違いはあるが 格要素数が多いほど意味的に適切な文を多く見逃している。 格要素数が3の場合では6〜16%しか見逃さずに正解としていない。

格要素数が多くなると意味的に誤っている文を 見逃さない割合が多くなるのは、格要素が1つだけのときより 意味的な整合性を判断する情報が多くなり、より厳密な判断を 行った結果だと考えられる。 また、結合価パターンが、意味的に正しい文の比較的多くを誤りと判定しているのは、 結合価パターンでは、換喩、提喩などに相当する表現は正しい文と みなされないことによるものと考えられる。 なお、格要素数が多くなると意味的に適切な文を多く見逃しているのは、 格要素のいずれかが誤っている 文又は両方の格要素が誤っている文の割合が増大するためと考えられる。