収集の対象

本研究では，Yahoo!カテゴリ³登録サイトを 収集の対象とする．Yahoo!カテゴリにはテーマやジャンルごとに分類された14の カテゴリがある．今回，各カテゴリからランダムに600サイトを選び，HTMLファ イルを収集する．ただし，以下に示す一部のサイトに関しては，再帰的回収にお いて問題があるため対象外とする．

• phpのみのサイト
• 404エラーのでるサイト
• 閉鎖してindexページのみ残っているサイト
• Flash，もしくはjavaスクリプトでのみコンテンツが見られるサイト
• urlに引数を含むサイト