情報量の定義

情報は確率事象に対して定義され、確率事象$I$が生起したことを知っ たとき、 $E=-\log_2 P(I)$の情報を受けとったと言う。ただし $P(I)$は事象$I$の生起確率を示す。

このことは一般に事象$I$が生起したことを知ることによって対象 とする対象系に関する解釈の曖昧さが$E$ビットだけ減少すること を意味する。この解釈の曖昧さの減少の割合が事象$I$の情報量(相 互情報量）に相当する。この考え方によってアクセント情報の持つ 情報量を求めることができる。つまり、アクセント情報の情報を知 ることによって曖昧さが減少するような事象系を１つ設定し、アク セント情報が存在しないときに得られる解釈の数とそれらの情報が 存在するときに得られる解釈の数を比較すれば良いことになる。