シャノンエントロピーから最小エントロピー

多くの論文で、確率変数のシャノンエントロピーは、変数の独立したコピーを取ることによって（最小統計距離まで）最小エントロピーに変換できることがよく知られていることを読みました。正確にこれが何を意味するのか誰にも説明できますか？

これは、多数の法則の形式である漸近等分性（AEP）の結果です。AEPは、確率変数に（バイナリ）エントロピーがある場合、$H$ そしてあなたは取る $n$ そのコピーの場合、ほとんどのデータポイントはおおよその確率を持っています $2^{-nH}$。これはほとんどのデータポイントにのみ当てはまります。これは、あなたが言及している小さな統計的距離の原因です。

例として、 $p$-偏ったコイン。投げたら$n$ バイアスのあるコイン $p$、その後、大まかに得る $pn$ 各イベントの確率はおおよそ