m\n | 10 | 20 | 30 | 40 | 50 | 60 | 70 | 80 | 90 | 100 |
0 | 0.71 | 0.63 | 0.60 | 0.56 | 0.53 | 0.51 | 0.50 | 0.50 | 0.50 | 0.50 |
10 | 0.70 | 0.66 | 0.53 | 0.59 | 0.55 | 0.53 | 0.51 | 0.51 | 0.50 | |
20 | 0.67 | 0.65 | 0.62 | 0.59 | 0.55 | 0.53 | 0.51 | 0.50 | ||
30 | 0.65 | 0.53 | 0.60 | 0.57 | 0.54 | 0.52 | 0.50 | |||
40 | 0.60 | 0.60 | 0.57 | 0.54 | 0.52 | 0.50 | ||||
50 | 0.57 | 0.57 | 0.54 | 0.52 | 0.50 | |||||
60 | 0.55 | 0.54 | 0.52 | 0.50 | ||||||
70 | 0.53 | 0.52 | 0.50 | |||||||
80 | 0.51 | 0.50 | ||||||||
90 | 0.50 |
m\n | 10 | 20 | 30 | 40 | 50 | 60 | 70 | 80 | 90 | 100 |
0 | 0.14 | 0.25 | 0.36 | 0.45 | 0.65 | 0.53 | 0.71 | 0.80 | 0.90 | 1.00 |
10 | 0.28 | 0.40 | 0.50 | 0.60 | 0.67 | 0.74 | 0.83 | 0.91 | 1.00 | |
20 | 0.40 | 0.52 | 0.62 | 0.71 | 0.77 | 0.85 | 0.93 | 1.00 | ||
30 | 0.52 | 0.63 | 0.73 | 0.80 | 0.86 | 0.93 | 1.00 | |||
40 | 0.61 | 0.72 | 0.80 | 0.87 | 0.94 | 1.00 | ||||
50 | 0.69 | 0.80 | 0.87 | 0.94 | 1.00 | |||||
60 | 0.77 | 0.87 | 0.94 | 1.00 | ||||||
70 | 0.85 | 0.94 | 1.00 | |||||||
80 | 0.93 | 1.00 | ||||||||
90 | 1.00 |
m\n | 10 | 20 | 30 | 40 | 50 | 60 | 70 | 80 | 90 | 100 |
0 | 0.24 | 0.36 | 0.45 | 0.50 | 0.53 | 0.56 | 0.59 | 0.62 | 0.64 | 0.67 |
10 | 0.40 | 0.50 | 0.55 | 0.59 | 0.61 | 0.62 | 0.63 | 0.65 | 0.67 | |
20 | 0.50 | 0.58 | 0.62 | 0.64 | 0.64 | 0.65 | 0.66 | 0.67 | ||
30 | 0.58 | 0.63 | 0.66 | 46#46 | 0.66 | 0.66 | 0.67 | |||
40 | 0.60 | 0.54 | 46#46 | 0.67 | 0.67 | 0.67 | ||||
50 | 0.63 | 0.66 | 0.67 | 0.67 | 0.67 | |||||
60 | 0.64 | 0.67 | 0.67 | 0.67 | ||||||
70 | 0.56 | 0.67 | 0.67 | |||||||
80 | 0.66 | 0.67 | ||||||||
90 | 0.67 |
表5.1,表5.2,表5.3,表5.4,表5.5に適合率1#1 ,再現率2#2 ,3#3 値,カテゴリ再現率4#4 とカテゴリ3#3 値5#5 をそれぞれ求めた結果を示す.表5.4における閾値は 47#47 を使用する.
m\n | 10 | 20 | 30 | 40 | 50 | 60 | 70 | 80 | 90 | 100 |
0 | 0.24 | 0.76 | 0.94 | 0.94 | 1 | 1 | 1 | 1 | 1 | 1 |
10 | 0.71 | 0.94 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | |
20 | 0.94 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | ||
30 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | |||
40 | 1 | 1 | 1 | 1 | 1 | 1 | ||||
50 | 1 | 1 | 1 | 1 | 1 | |||||
60 | 1 | 1 | 1 | 1 | ||||||
70 | 1 | 1 | 1 | |||||||
80 | 1 | 1 | ||||||||
90 | 1 |
m\n | 10 | 20 | 30 | 40 | 50 | 60 | 70 | 80 | 90 | 100 |
0 | 0.36 | 0.69 | 0.73 | 0.70 | 0.70 | 0.68 | 0.67 | 0.67 | 0.66 | 0.67 |
10 | 0.70 | 0.78 | 0.77 | 0.75 | 0.71 | 0.69 | 0.68 | 0.67 | 0.67 | |
20 | 0.78 | 48#48 | 0.76 | 0.74 | 0.71 | 0.69 | 0.68 | 0.67 | ||
30 | 0.78 | 0.77 | 0.75 | 0.73 | 0.70 | 0.68 | 0.67 | |||
40 | 0.75 | 0.75 | 0.72 | 0.70 | 0.68 | 0.67 | ||||
50 | 0.73 | 0.72 | 0.70 | 0.68 | 0.67 | |||||
60 | 0.71 | 0.70 | 0.69 | 0.67 | ||||||
70 | 0.69 | 0.69 | 0.67 | |||||||
80 | 0.68 | 0.67 | ||||||||
90 | 0.67 |
比較手法1は,全ての文を分析者に提示する手法なので, 49#49 の欄から評価値を読み取る.比較手法2は,再学習が無いので,50#50 の行において,44#44 の設定値ごとの評価値を表から読み取る.提案手法は,ある程度の再学習を経るので,51#51 の行において, 44#44 の設定値ごとの評価値を表から読み取る.
適合率によると,分析者が無駄なくヒント文を読むことができたかどうかが分かる. 比較手法1では,0.5なので約半分がヒント文であった. 総文数の30%を提示する条件下では,比較手法2では, 52#52 の欄より0.6であり,提案手法では 53#53 の欄と 54#54 の欄より0.66と0.67であった.
カテゴリ再現率によると,分析者が新たな発想に至る文を読んだかどうかが分かる. たとえば,カテゴリ再現率は, 55#55 の欄において0.76であるが, 56#56 の欄において0.71である.総文数の57#57 を提示したとしても,前者の方が幅広い発想をしたと言える.