評価方法

単一文書を入力として単語ネットワークを構築し，実際に利用した際の文書内容の把握度で評価を行う．以下に評価方法の手順を示す．

1. 新聞記事を入力データとして単語ネットワークを構築する．
2. 構築されたネットワークの2階層目の5つのノードに注目して，そのノードに付与された段落番号の出現回数を集計する．
3. 2で集計した段落番号で頻度が高い3つの段落を本文から抽出する．
4. 3で抽出した段落の内容のみを用いて，入力データの内容に関する問題に回答する．回答する際に3で抽出した段落が役立った場合に正解とする．
5. 3で抽出した段落の文字数と問題の正解数から，読書率と正解率を算出する．読書率の算出には式5.1を用いる．

18#18 (5.1)

また，入力データの全段落からランダムに選出した3段落のみを用いた場合で読書率，正解率を算出する．段落の選出をそれぞれの記事に対し10回行い，その平均値を算出し手順5で算出した評価値と比較する． また，3つの段落を選出した際に文字数が最小になる場合と最大になる場合，新聞記事の上から3つの段落を選出した場合についても読書率，正解率を算出する． なお，採点基準は文献[13]の解答例に記されている事柄が，抽出された段落に含まれているかとする．「派遣労働者」に関する新聞記事を入力とした場合の単語ネットワークで役立つと判断した場合の例を図5.6に示す．図5.6の下線部が問題の回答に役立つと判断した理由である．

図 5.6: 選出した段落が役立つと判断した場合の例

19#19