モデル化されるデータのタスクの複雑度の指標として perplexity(2.1.10節参照)を用いた。perplexityは、 情報理論的な意味での平均分岐数である。例えば、言語の1単語あたりの エントロピーがならば、次の単語を決定するのに回の二者択一 の選択が必要になる。言い換えれば個の単語から1単語を選び出す ことになる。モデル化対象の集合をとし、のエントロピーを とする。また、1単語あたりのエントロピーとエントロピーをもとに算 出したパープレキシティは次のように求められる [60]。
(9.1) | |||
(9.2) | |||
(9.3) | |||
(9.4) |