まず，本研究における評価の基準の説明を行う．評価基準は通常の情報抽出にならい，適合率1#1 ，再現率2#2 ，および3#3 値を使用する．
ここで，ヒント文の自動抽出においては， 分析者に必ずしも全てのヒント文を提示する必要はない． たとえば，「遊歩道の整備」というアイデアは１度得られれば十分であり， 同じ開発案を発想させるヒント文は何度も自動抽出で提示される必要はない．
そこで，カテゴリ再現率4#4 という評価基準がある[1]． これは，ヒント文の網羅性を評価する代わりに，ヒントカテゴリの網羅性を評価することで，実践的な評価に近づけるものである． ヒントカテゴリに属する文のうちの一定割合26#26 以上が自動抽出により提示されれば良しとする評価基準である．ただし，同一の発想かどうかまでを評価するのではなく，同一のヒントカテゴリであるかどうかを考慮するという近似的な評価である．また，3#3 値に相当する評価基準として，適合率1#1 と4#4 の調和平均である5#5 （カテゴリ3#3 値と呼ぶことにする）が考えられる．
以上より，本稿では，4#4 および5#5 も使用する．以下に，各評価基準を求める式を示す．
| 27#27 | (5.1) | ||
| 28#28 | (5.2) | ||
| 29#29 | (5.3) | ||
| 30#30 | (5.4) | ||
| 31#31 | (5.5) | ||
| 32#32 | (5.6) |
ここで，33#33 は集合34#34 の要素数，35#35 はヒントカテゴリの集合，36#36 は分析者に提示された文の集合， 37#37 は分析者に提示されるべき文（正解文）の集合，38#38 はヒントカテゴリ39#39 に対応する正解文の集合をそれぞれ表す．
提案手法では，再学習のために分析者に提示する文の数（図2における40#40 ）および再分類後に分析者に提示する文の数（図2における41#41 ）が定められていない．本実験では，これらのパラメータの設定値を変更しながら，評価値を観測する．
観測した評価値を以下に示す．パラメータ42#42 は，新地域ブログの総文数に対する割合であり，再学習のために提示する文数の比率である( 43#43 )． 同じく44#44 は，総文数に対する割合であり，再分類後に提示する文数の比率である( 45#45 )．