最大エントロピー分布は、与えられた周辺分布と一致していますか？

一般に、既知の限界分布と一致する多くの結合分布ます。$P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)$$f_i(x_i) = P(X_i = x_i)$

これらの共同分布の中で、周辺の積をとることで生成される積は、エントロピーが最も高いものですか？$\prod_i f_i(x_i)$

私は確かにこれが真実であると信じていますが、実際に証拠を見たいと思います。

私はすべての変数が離散的である場合に最も興味がありますが、連続的な場合の製品測定値に関連するエントロピーについての解説にも興味があります。

1つの方法は、カルバックライブラーダイバージェンスのプロパティを使用することです。

ましょう所定のマージンを持つ分布のファミリーであり、およびlet生成物の分布である（明らかと）。$\mathfrak{P}$$Q$$Q \in \mathfrak{P}$

ここで、任意のについて、クロスエントロピーは次のようになります。$P \in \mathfrak{P}$

$H(P,Q) = E_P [\log q(X)] = E_P \left[ \log \prod_i q_i(X) \right] = \sum_i E_P [\log q_i(X)] = \sum_i H(P_i,Q_i)$

つまり、マージンのクロスエントロピーの合計です。マージンはすべて固定されているため、この用語自体も固定する必要があります。

これで、KLダイバージェンスを次のように書くことができます。

$D_{KL}(P \| Q) = H(P,Q) - H(P)$

それゆえ：

$\operatorname*{arg\,min}_{P \in \mathfrak{P}} \ D_{KL}(P \| Q) = \operatorname*{arg\,max}_{P \in \mathfrak{P}} \ H(P)$

つまり、エントロピーを最大化する分布は、でKL発散を最小化する分布であり、KL発散の特性により、自体であることがわかります。$P$$Q$$Q$