推定精度

評価値が離散的であるため単純な相関係数が使えないと考えて, 推定値と評価値の差が0.33未満(評価の差が1つ未満)ならば「合」とした. 推定精度は 77%(合の数/推定数 = 27/35)であった. また, 各文で上位10位までの 推定値について推定精度を求めたところ, 79%(270/341)であった. 推定値をも とに適合パターンを選択し, そこから英文を生成すると, その推定値の品質で英 文の得られる可能性が79%であることを意味する.

表 7: 実験結果

値の差	推定値1位	推定値上位10位
0.33未満(合)	77%(27/35文)	79%(270/341件)
0.66未満	20%(7/35文)	18%(63/341件)
0.66以上	3%(1/35文)	2%(8/341件)

オープンテスト341件の推定値が, A〜Dの4段階でどのように分布しているかを調 べた. 結果を図7に示す. 分布の様子から推定値が0.5付近より大きい場合の評 価がAにかたまっていることがわかる.

図 7: 推定値の分布