表からわかるように, 提案手法は, 「に」「にも」, 「が」「がも」, 「を」「をも」のすべてのマクロ平均において, ベースライン手法の0.5よりも高い値を得ることができた. 「に」「にも」, 「が」「がも」の使い分けでは7割近いマクロ平均を得た. しかし, 「を」「をも」では0.56とありあまり良い結果ではなかった. これは「を」「をも」の学習データ数が少ないことが原因として考えられる.
また, 提案手法での再現率, 適合率, F値での評価を表4.6から表4.8に示す. これらの評価では再現率は5割から7割の値となっているが, 適合率とF値は提案手法の「にも」「がも」「をも」に関して 極端に低い値となってしまう.
これは, 分類先の事例数が他の分類先よりも極端に小さい場合に一般的に生じやすい現象である. 事例数が他の分類先よりも極端に小さい分類先は, 高いF値を取得するのが難しい.
本研究では本来「にも」「がも」「をも」であるものを正しく「にも」「がも」「をも」と推定できた数より, 本来「に」「が」「を」であるものを誤って「にも」「がも」「をも」と推定してしまう数の方が圧倒的に多いため, 適合率の値が非常に低くなってしまう.
| 手法 | 分類先 | 再現率 | 適合率 | F値 | ||
| 提案手法 | 「に」 | 0.64 | (4494/7045) | 0.99 | (4494/4555) | 0.78 |
| 「にも」 | 0.74 | ( 172/ 233) | 0.06 | ( 172/2723) | 0.11 | |
| ベースライン手法 | 「に」 | 1.00 | (7045/7045) | 0.97 | (7045/7278) | 0.98 |
| 全て「に」 | 「にも」 | -- | ( 0/ 233) | -- | ( 0/ 0) | -- |
| ベースライン手法 | 「に」 | -- | ( 0/7045) | -- | ( 0/ 0) | -- |
| 全て「にも」 | 「にも」 | 1.00 | ( 233/ 233) | 0.03 | ( 233/7278) | 0.06 |
| 手法 | 分類先 | 再現率 | 適合率 | F値 | ||
| 提案手法 | 「が」 | 0.65 | ( 312/ 480) | 0.93 | ( 312/ 334) | 0.77 |
| 「がも」 | 0.69 | ( 49/ 71) | 0.23 | ( 49/ 217) | 0.35 | |
| ベースライン手法 | 「が」 | 1.00 | ( 480/ 480) | 0.78 | ( 480/ 551) | 0.93 |
| 全て「が」 | 「がも」 | -- | ( 0/ 71) | -- | ( 0/ 0) | -- |
| ベースライン手法 | 「が」 | -- | ( 0/ 480) | -- | ( 0/ 0) | -- |
| 全て「がも」 | 「がも」 | 1.00 | ( 71/ 71) | 0.13 | ( 71/ 551) | 0.23 |
| 手法 | 分類先 | 再現率 | 適合率 | F値 | ||
| 提案手法 | 「を」 | 0.51 | ( 841/1641) | 0.99 | ( 841/ 852) | 0.67 |
| 「をも」 | 0.61 | ( 17/ 28) | 0.02 | ( 17/ 817) | 0.04 | |
| ベースライン手法 | 「を」 | 1.00 | (1641/1641) | 0.98 | (1641/1669) | 0.99 |
| 全て「を」 | 「をも」 | -- | ( 0/ 28) | -- | ( 0/ 0) | -- |
| ベースライン手法 | 「を」 | -- | ( 0/1641) | -- | ( 0/ 0) | -- |
| 全て「をも」 | 「をも」 | 1.00 | ( 28/ 28) | 0.02 | ( 28/1669) | 0.03 |