エントロピーと頻度別出現率

エントロピーと頻度別出現率の収束性を比較すると、全てのデータ においてエントロピーは頻度別出現率よりも少ない学習データ量で 収束することが示された。これは学習データ量に対するマルコフ連 鎖確率値の変化について調査する場合、エントロピーだけでなく、 頻度別出現率も調査する必要があることを意味していると思われる。