評価にはカバー率、適合率、および正解率を使用する。 以下に定義を示す。
カバー率 | = | (4.1) | |
適合率 | = | (4.2) | |
正解率 | = | カバー率×適合率 | (4.3) |
表4.2に生成された規則の個々の規則数とその構造規則を実験デー タに適用したときのカバー率及び適合率を示す。この表より以下のことが分かる。
約223の構造規則が得られ、全体の19%をカバーしている。
構造規則の種類ごと (ABのみ、BCのみ、CAのみ)のカバー率は60%から80%である。 しかし、3つ合わせた規則(係り先が競合した場合には判定しない)を適用した ところ、全体の86%の名詞句に対して係り先を判定することができ、その適合率 は91%であった。また、3つの規則合わせて、約2,860個の構造規則が得られ た。
構造規則数は約2450と多いが、カバー率は2次元規則より高い。
タイプ | 規則数 | カバー率 | 適合率 |
Aのみ | 78.5 | 9.0% | 91.5% |
Bのみ | 84.3 | 8.8% | 89.2% |
Cのみ | 60.3 | 6.2% | 87.6% |
1次元規則 | 223.1 | 19.3% | 91.7% |
ABのみ | 974.6 | 59.3% | 90.2% |
BCのみ | 937.0 | 69.8% | 91.7% |
CAのみ | 947.2 | 67.0% | 91.3% |
2次元規則 | 2,859 | 85.8% | 90.9% |
3次元規則 | 2,455 | 91.0% | 86.7% |