next up previous contents
次へ: 評価のまとめ 上へ: 実験 戻る: 評価基準   目次

各評価基準における値


表: 適合率1#1
m\n 10 20 30 40 50 60 70 80 90 100
0 0.71 0.63 0.60 0.56 0.53 0.51 0.50 0.50 0.50 0.50
10 0.70 0.66 0.53 0.59 0.55 0.53 0.51 0.51 0.50  
20 0.67 0.65 0.62 0.59 0.55 0.53 0.51 0.50    
30 0.65 0.53 0.60 0.57 0.54 0.52 0.50      
40 0.60 0.60 0.57 0.54 0.52 0.50        
50 0.57 0.57 0.54 0.52 0.50          
60 0.55 0.54 0.52 0.50            
70 0.53 0.52 0.50              
80 0.51 0.50                
90 0.50                  


表: 再現率2#2
m\n 10 20 30 40 50 60 70 80 90 100
0 0.14 0.25 0.36 0.45 0.65 0.53 0.71 0.80 0.90 1.00
10 0.28 0.40 0.50 0.60 0.67 0.74 0.83 0.91 1.00  
20 0.40 0.52 0.62 0.71 0.77 0.85 0.93 1.00    
30 0.52 0.63 0.73 0.80 0.86 0.93 1.00      
40 0.61 0.72 0.80 0.87 0.94 1.00        
50 0.69 0.80 0.87 0.94 1.00          
60 0.77 0.87 0.94 1.00            
70 0.85 0.94 1.00              
80 0.93 1.00                
90 1.00                  


表: 3#3 値
m\n 10 20 30 40 50 60 70 80 90 100
0 0.24 0.36 0.45 0.50 0.53 0.56 0.59 0.62 0.64 0.67
10 0.40 0.50 0.55 0.59 0.61 0.62 0.63 0.65 0.67  
20 0.50 0.58 0.62 0.64 0.64 0.65 0.66 0.67    
30 0.58 0.63 0.66 46#46 0.66 0.66 0.67      
40 0.60 0.54 46#46 0.67 0.67 0.67        
50 0.63 0.66 0.67 0.67 0.67          
60 0.64 0.67 0.67 0.67            
70 0.56 0.67 0.67              
80 0.66 0.67                
90 0.67                  

5.1,表5.2,表5.3,表5.4,表5.5に適合率1#1 ,再現率2#2 ,3#3 値,カテゴリ再現率4#4 とカテゴリ3#3 値5#5 をそれぞれ求めた結果を示す.表5.4における閾値は 47#47 を使用する.


表: カテゴリ再現率4#4
m\n 10 20 30 40 50 60 70 80 90 100
0 0.24 0.76 0.94 0.94 1 1 1 1 1 1
10 0.71 0.94 1 1 1 1 1 1 1  
20 0.94 1 1 1 1 1 1 1    
30 1 1 1 1 1 1 1      
40 1 1 1 1 1 1        
50 1 1 1 1 1          
60 1 1 1 1            
70 1 1 1              
80 1 1                
90 1                  


表: カテゴリ3#3 値5#5
m\n 10 20 30 40 50 60 70 80 90 100
0 0.36 0.69 0.73 0.70 0.70 0.68 0.67 0.67 0.66 0.67
10 0.70 0.78 0.77 0.75 0.71 0.69 0.68 0.67 0.67  
20 0.78 48#48 0.76 0.74 0.71 0.69 0.68 0.67    
30 0.78 0.77 0.75 0.73 0.70 0.68 0.67      
40 0.75 0.75 0.72 0.70 0.68 0.67        
50 0.73 0.72 0.70 0.68 0.67          
60 0.71 0.70 0.69 0.67            
70 0.69 0.69 0.67              
80 0.68 0.67                
90 0.67                  

比較手法1は,全ての文を分析者に提示する手法なので, 49#49 の欄から評価値を読み取る.比較手法2は,再学習が無いので,50#50 の行において,44#44 の設定値ごとの評価値を表から読み取る.提案手法は,ある程度の再学習を経るので,51#51 の行において, 44#44 の設定値ごとの評価値を表から読み取る.

適合率によると,分析者が無駄なくヒント文を読むことができたかどうかが分かる. 比較手法1では,0.5なので約半分がヒント文であった. 総文数の30%を提示する条件下では,比較手法2では, 52#52 の欄より0.6であり,提案手法では 53#53 の欄と 54#54 の欄より0.66と0.67であった.

カテゴリ再現率によると,分析者が新たな発想に至る文を読んだかどうかが分かる. たとえば,カテゴリ再現率は, 55#55 の欄において0.76であるが, 56#56 の欄において0.71である.総文数の57#57 を提示したとしても,前者の方が幅広い発想をしたと言える.


next up previous contents
次へ: 評価のまとめ 上へ: 実験 戻る: 評価基準   目次
syahana 平成24年3月14日