学習データとして4.4.2節のデータを用い, 10分割クロスバリデーションにより 評価する.
ここでベースラインとして全ての文を正例と判定するものを用い,比較を行う.
結果を表4.2に示す. ここでのF値は正例の文を抽出する性能を示すものである.
再現率 | 適合率 | F値 | |||
提案手法 | 0.45 | ( 76/170) | 0.52 | ( 76/146) | 0.48 |
ベースライン | 1.00 | (170/170) | 0.40 | (170/429) | 0.57 |
提案手法は 適合率では0.1ほどベースラインより高かったが, F値ではベースラインより低かった.
しかし一般に世に存在する文に含まれている冗長な文は冗長でない文に比べて量は少ないと思われる. そこで実際の出現頻度は冗長でない文が冗長な文よりも多くなると仮定し性能を算出してみた. 表4.3に負例数を10倍にした場合の結果を示す. 負例を10倍にするとF値でもベースラインを上回った.
再現率 | 適合率 | F値 | |||
提案手法 | 0.45 | ( 76/170) | 0.10 | ( 76/ 776) | 0.16 |
ベースライン | 1.00 | (170/170) | 0.06 | (170/2760) | 0.12 |
結果としてベースラインを上回るもののF値は0.16と,提案手法の性能は高いものではない.