情報理論の中心極限定理

情報理論CLTの最も単純な形式は次のとおりです。

ましょう平均でIIDさ、分散。ましょう正規化された和の密度であると標準ガウス密度です。次に、情報理論CLTは、がいくつかのnに対して有限である場合、D（f_n \ | \ phi）\ to 0はn \ to \ infty。0 1 f n ∑ n i = 1 X $X_1, X_2,\dots$$0$$1$$f_n$$\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$$\phi$N D （F N ‖ φ ）→ 0 、N → $D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$$n$$D(f_n\|\phi)\to 0$$n\to \infty$

確かに、この収束は、ある意味では、文献で確立されている収束、分布の収束、$L_1$メトリックでの収束よりも「強力」です。これは、Pinskerの不等式$\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$。つまり、KLダイバージェンスでの収束は、分布での収束と$L_1$距離での収束を意味します。

二つ知りたいのですが。

1. 結果D（f_n \ | \ phi）\ to 0の何が素晴らしいの$D(f_n\|\phi)\to 0$ですか？

2. 3番目の段落で述べた理由のために、KLダイバージェンスの収束（つまり、$D(f_n\|\phi)\to 0$）の方が強いと言っているのですか？

注意：私はこの質問をmath.stackexchangeでいつか行ったところ、何も返事がありませんでした。

この定理の優れている点の1つは、通常の中心極限定理が適用されない一部の設定で極限定理を提案することです。たとえば、円の分布など、最大エントロピー分布が非正規分布である状況では、一様分布への収束を示唆しています。

見回した後、相対エントロピーに収束せずに分布の収束の例を見つけることができなかったため、これはその結果の「偉大さ」を測定するのが困難です。

私には、この結果は、たたみ込み積の相対的なエントロピーを単純に説明しているように見えます。これは、中心極限定理の代替解釈および証明フレームワークと見なされることが多く、情報理論ではそうであるが、確率理論に直接関係があるとは思えない。

以下からの情報理論と中心極限定理（19ページ）。

熱力学の第2法則は、熱力学エントロピーは常に時間とともに増加することを示しており、ギブス状態への何らかの収束を示唆しています。エネルギーの節約は、この時間発展の間が一定のままであることを意味するので、最初からどのギブス状態が限界になるかを知ることができます。 畳み込みを行うと情報理論的エントロピーが最大に増加し、ガウス分布に収束することを示すことで、同じように中心極限定理を考察します。適切に正規化することは、たたみ込みの間、分散が一定のままであることを意味し、最初からどのガウスが限界になるかを知ることができます。$E$

、N → $D(f_n\|\phi)\rightarrow 0$は、KLダイバージェンスの定義のために、確率変数の合計の分布ととしてのガウス密度の間に「距離」がないことを保証します。自体。おそらく私はあなたの質問を誤解しました。$n\rightarrow\infty$

あなたが任命した2番目の点については、それはあなたの段落で回答されています。