実験の進め方と評価方法

テストデータを用いてプログラムによりレスの宛先をデータ構造化し，用意した 辞書を利用して，レスからの情報抽出を行い，情報を集約する．情報の集約を行わなかった結果と情報の集約を行った結果を出力し，正解データ とそれぞれ比較することで，集約の効果を確認する．

評価方法は，各レスごとに正解データの3つ組と出力の3つ組を比較し，出力数， 一致数を出す． さらに，出力数および一致数から以下の式により適合率，再現率，および$F$ 値を計算 する．

$$適合率=\frac{理想的な3つ組と出力との一致数}{出力数}$$

$$再現率=\frac{理 想的な3つ組と出力との一致数}{理想的な3つ組数}$$

$$F値=\frac{2 \times 適合率 \times 再現率}{適合率 + 再現率}$$

各レスごとの適合率，再現率，および$F$ 値を求めて，それらからマクロ平均を計算し， 性能の評価として利用する．

マクロ平均とは，各レスの適合率，再現率， および$F$ 値を計算してから，それらを平均することである．すなわち $\frac{1}{N}\sum^N_{i=1}x_i$ で求める．ここで，$N$ はレス数，$x_i$ は$i$ 番 目のレスにおける，適合率，再現率，または$F$ 値である．

なお，全てのレスの出力数，一致数の合計を計算して，それらから適合率，再現率，および$F$ 値を計算するのがマイクロ平均である．