評価実験2

評価実験2では，ランダムに抽出した記事について 設問を設ける．そして，被験者がその設問に回答する時間を 本手法を適用したテキストとそうでないテキストについて比較する．

実験手順は，まず91年毎日新聞記事データベースから記事をランダムに6件抽出する． そして，それぞれの記事に関する設問を作成する．ここで，設問を作成する際は 記事のタイトルを見ずに作成する．つまり，本文のみを見て，特に記事(本文)の内容 と関連があると思われる事柄について，それを問う設問とする．

1. 91年毎日新聞記事データベースからランダムに6件の記事を抽出．
2. 設問を以下の方法で作成する．設問は各記事につき1問とする．
   1. 記事の本文のみを見て，設問を作成する．
   2. 文章から特に重要である事柄についての設問を作成する．
3. 評価実験1と同様に，2名の被験者を対象に実験を行う．
4. 設問に対する回答時間を測定する．

図 5.2: 評価実験2に用いた記事の一例

例えば，図5.2の記事では設問は「この記事の中で伝えられている海浜開発以外のイトマンの筆頭株主はどこですか？」 とした．解答は「富国産業」である．

以上の手順に沿って，実験を行った．結果を表5.2に示す．

表 5.2: 評価実験2の結果

問題	強調あり[秒]	強調なし[秒]
1	53.51	62.23
2	51.34	31.34
3	111.80	97.03
4	109.72	123.92
5	35.58	40.44
6	36.67	63.75
平均	66.437	69.785

結果からは平均で速度が向上していることが分かる． しかし，有意差検定において明確な有意差が確認できなかった．

この実験より，どのような種類の記事でも本手法が有効ではないことが 確認できた．

この実験から本手法の有効性が確認できなかった理由としては，実験1で 読者の重要単語把握箇所の速度向上が認められたが，それが直接的に 読書支援に結びつかなかったと考える．また，今回の実験では タイトルを見ずに設問を作成したので，本文の重要な内容とタイトル の重要単語間の関連度が低かったと考えられる．また，4章の分析・考察 により，全ての種類のテキストで本手法が有効あるとは限らないとしている． 今回の実験で用いた記事が，表4.1の分類に属さないものであれば，本手法 の有効性は示すことできない可能性もある．このような理由から評価実験2において 本手法の有効性を確認できなかったと思われる．