シャノンエントロピーから最小エントロピー


7

多くの論文で、確率変数のシャノンエントロピーは、変数の独立したコピーを取ることによって(最小統計距離まで)最小エントロピーに変換できることがよく知られていることを読みました。正確にこれが何を意味するのか誰にも説明できますか?

回答:


6

これは、多数の法則の形式である漸近等分性(AEP)の結果です。AEPは、確率変数に(バイナリ)エントロピーがある場合、H そしてあなたは取る そのコピーの場合、ほとんどのデータポイントはおおよその確率を持っています 2H。これはほとんどのデータポイントにのみ当てはまります。これは、あなたが言及している小さな統計的距離の原因です。

例として、 p-偏ったコイン。投げたら バイアスのあるコイン p、その後、大まかに得る p 各イベントの確率はおおよそ

pp1p1p=2hp
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.