固定共分散行列の最大エントロピー分布がガウス分布であることを証明します

13

ガウスが最大エントロピーを持っているという次の証拠について頭を動かそうとしています。

スター付きのステップはどのように意味がありますか？特定の共分散は、2番目の瞬間のみを修正します。3番目、4番目、5番目の瞬間などはどうなりますか？

entropy information-theory maximum-entropy

— タラレ
ソース

13

（a）とは同じゼロ次モーメントと2次モーメントを持ち、（b）はの成分の多項式関数であり、その項の合計次数はまたはため、スター付きステップは有効です。 $p$ $q$ $\log(p)$ $\mathbf{x}$ $0$ $2$

平均がゼロの多変量正規分布について知っておく必要があるのは、次の2つだけです。

は、線形項のない次関数です。具体的には、定数とがあり $\log(p)$ $\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$ $p_{ij}$
$ログ（ p （バツ）） = C + \sum_{私、 j = 1}^{n} p_{私 j} {バツ}_{私} {バツ}_{j} 。$ $\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$
（もちろんとはで記述できますが、この詳細は重要ではありません。） $C$ $p_{ij}$ $\Sigma$
は、分布の2次モーメントを示します。すなわち、 $\Sigma$
$Σ_{i j} = E_{p} (x_{i} x_{j}) = \int p (x) x_{i} x_{j} d x .$ $\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$

私たちはこの情報を使って不可欠なことを解決することができます。

\begin{aligned} \int (q (x) - p (x)) \log (p (x)) d x \\ = & \int (q (x) - p (x)) (C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j}) d x 。 \end{aligned}

$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$

2つの部分の合計に分割されます。

$\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$ $q$ $p$
$\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$ $\int q(\mathbf{x}) x_i x_jd\mathbf{x}$ $\int p(\mathbf{x}) x_i x_jd\mathbf{x}$ $\Sigma_{ij}$

$\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$ $\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

— ウーバー
ソース

1

起こるのは、（4.27）と（4.28）の両方の積分で、 $q(x)$ そして $p(x)$ フォームの項の乗算 $\sigma_{ij}x_ix_j$ （なぜなら $p(x)$ は、通常の密度です。ログを取得すると、指数と定数からそのような種類の項を取得できます。ただし、定理の条件により、これらの項に次のいずれかが乗算されます。 $p(x)$ の $q(x)$ 同じ値に統合します。

— F・タセル
ソース