教師あり機械学習の実験データはこの1,000文を用いて10分割クロスバリデーションで評価した. ルールベース手法では,「資格」「就職」「求人」を含むものを就職関連情報とした. 全ての文を就職活動関係と判別するベースライン手法も利用した.
各手法での結果を表4.1に示す.
手法 | 適合率 | 再現率 | F値 |
教師あり機械学習 | 0.75 | 0.39 | 0.51 |
ルールベース手法 | 0.70 | 0.74 | 0.72 |
ベースライン手法 | 0.03 | 1.00 | 0.06 |
ルールベース手法が他手法よりも性能が良く,F値7割程度の性能を得た.