balance F-Score

本実験で用いられる評価方法はbalance F-scoreである.この方法はprecisionの値とrecallの値の調和平均を計算することで手法の性能を示す方法である. precesionの意味は抽出されたデータの中に正解データの割合である. recallの意味は抽出された正解データと正解データの総数の割り算の結果である. precesionの計算方法は数式で示す. recallの計算方法は数式で示す.

$$precesion = \frac {正解データと実験で抽出される... ...�が一致しているデータの数}{実験で抽出されるデータの数}$$ (11)

$$recall = \frac {正解データと実験で抽出されるデータが一致しているデータの数}{正解データの総数}$$ (12)

そして,この二つの値の調和平均F1を計算する.数式で示す.

$$F1 = \frac{2*precesion*recall}{precesion+recall}$$ (13)

このf1値が高ければ高い程,性能が高いことを意味する.

本実験の場合, precesionとrecallの分子の部分は実験で生成されたテーブルと正解テーブルの対応する欄に一致しているデータの総数である. precesionの分母は実験で生成されたテーブルのデータの総数, recallの分母は正解テーブルのデータの総数である.具体例は表で示す.この具体例の実験データの部分は毎日新聞の地震記事から抽出した場所に関するデータである.正解データは人手で毎日新聞の地震記事がら場所に関する単語を抽出する.表１のF1値を計算すると, precesionの結果は0.7（14／20）である. recallの結果は0.46（14/30）である. f1の結果は0.55である.

Table: 地震記事評価例