ネゲントロピーの導出。はまる

そのため、この質問は多少複雑ですが、できる限り簡単になるように心がけました。

目標：長い話を簡単に言えば、高次のキュムラントを含まない負のエントロピーの導出があり、それがどのように導出されたかを理解しようとしています。

背景：（これはすべて理解しています）

ここにある「独立成分分析」という本を自習しています。（この質問は、「非多項式関数によるエントロピーの近似」という本がある場合は、セクション5.6からのものです）。

我々は持っている $x$ ランダム変数であり、そしてそのネゲントロピー我々は我々が持っているいくつかの観測から、推定したいです。のPDFは $x$ 与えられます。ネゲントロピーは、標準化されたガウス確率変数の微分エントロピーと微分エントロピーの差です。ここでの微分エントロピーは、次のようにによって与えられます。 $p_x(\zeta)$ $x$ $H$

H （ バツ ） = - \int_{- \infty}^{\infty} p_{バツ} （ ζ ） l o g （ p_{バツ} （ ζ ） ） d ζ

$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$

そのため、負のエントロピーは

J （ バツ ） = H （ v ） - H （ バツ ）

$J(x) = H(v) - H(x)$

ここで $v$ は標準化されたガウスrvであり、PDFは与えられ $\phi(\zeta)$ ます。

さて、この新しい方法の一部として、私の本はのPDFの推定値を導き出しました $x$ 。

p_{バツ} （ ζ ） = ϕ （ ζ ） [1 + \sum_{私} c_{私} F^{私} （ ζ ）]

$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$

（ここで、 $c_i = \mathbb{E}\{F^i(x)\}$ 。ところで、 $i$ あるしない電源、その代わりにインデックス）。

今のところ、私はこの新しいPDFの式を「受け入れ」、また別の日にそれについて尋ねます。これは私の主な問題ではありません。彼が今やっていることは、このバージョンののPDFを $x$ ネグネトロピー方程式に戻し、最終的には次のようになることです。

J （ バツ ） \approx \frac{1}{2} \sum_{私} E {F^{私} （ バツ ）}^{2}

$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$

シグマ（こことポストの残りの部分）は、インデックスループするだけです。たとえば、2つの関数しかない場合、信号はおよびループします。もちろん、私は彼が使用しているこれらの機能についてお話しする必要があります。したがって、明らかに、これらの関数は次のように定義されます。 $i$ $i=2$ $i=2$ $F^i$

この場合、関数は多項式関数ではありません。（rv はゼロ平均であり、単位分散であると仮定します）。次に、いくつかの制約を作成し、それらの関数のプロパティを指定しましょう。 $F^i$ $x$

$F^{n + 1} (ζ) = ζ, c_{n + 1} = 0$ $F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$
$F^{n + 2} (ζ) = ζ^{2}, c_{n + 1} = 1$ $F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$
機能：簡素化の計算に、私たちは別の、純粋に技術的な前提にしましょう、次のような正規直交システムを形成します。 $F^i, i = 1, ... n$

$\int ϕ （ ζ ） F^{私} （ ζ ） F^{j} （ ζ ） d ζ = {\begin{cases} 1 、もし私 = j \\ 0 、もし私 \neq j \end{cases}$ $\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$
そして

$\int ϕ （ ζ ） F^{私} （ ζ ） ζ^{k} d （ ζ ） = 0 、にとって k = 0 、 1 、 2$ $\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$

もうすぐ！さて、それが背景であり、今は質問です。タスクは、この新しいPDFを微分エントロピー公式です。これを理解すれば、残りも理解できます。今、本は派生を与えます（そして私はそれに同意します）、しかし、私はそれがキャンセルされる方法を知らない/見ないので、私は終わりに向かって立ち往生します。また、テイラー展開からのsmall-o表記の解釈方法がわかりません。 $H(x)$

これが結果です：

テイラー展開を使用して、： $(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$ $H(x)$

H （ バツ ） = - \int ϕ （ ζ ） （ 1 + \sum c_{私} F^{私} （ ζ ） ） （ l o g （ 1 + \sum c_{私} F^{私} （ ζ ） + l o g （ ζ ） ） d （ ζ ） = - \int ϕ （ ζ ） l o g （ ζ ） - \int ϕ （ ζ ） \sum c_{私} F^{私} （ ζ ） l o g （ ϕ （ ζ ） ） - \int ϕ （ ζ ） [\sum c_{私} F^{私} （ ζ ） + \frac{1}{2} （ \sum c_{私} F^{私} （ ζ ） ）^{2} + o （ （ \sum c_{私} F^{私} （ ζ ） ）^{2} ）]

$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$

など

質問：（これはわかりません）

H （ バツ ） = H （ v ） - 0 - 0 - \frac{1}{2} \sum c_{私}^{2} + o （ （ \sum c_{私} ）^{2}

$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$

だから、私の問題：除いて、彼が最後の方程式の最後の4項をどのように取得したのか理解できません。（つまり、0、0、および最後の2つの用語）。その前にすべてを理解しています。彼は、上記のプロパティで与えられた直交関係を活用したと言いますが、私にはその方法がわかりません。（ここでのsmall-o表記も、どのように使用されるのかという意味で理解できませんか？） $H(v)$

ありがとう!!!!

編集：

私は先に進み、読んでいる本の画像を追加しました。それは私が上で言ったことをほとんど言っていますが、誰かが追加のコンテキストを必要とする場合に備えて。

ここに画像の説明を入力してください

$c_i^2$

— スペイシー
ソース

\log ϕ (x)

$\log \phi(x)$

\neq

$\neq$

@cardinal OK、タイプミスを修正しました、ありがとう。とはいえ、彼がどのようにキャンセルを行っているのかははっきりしていません。本から実際の画像を追加しました。

— スペイシー

正直なところ、これが数学サイトからどのようにまたはなぜ移行されたのか分かりません。とにかく、私はここでそれを喜んで持っています。質問にかなりの努力をしました。:

— 枢機

@cardinalあなたの言うことを聞いてとてもうれしいです。:-)はい、できればこの自習の投資がいつか報われることを願っています。;

— スペイシー

@Mohammad、そうするでしょう！ICAも非常に興味深いトピックです:-)。

— ネスター

$c_i$

c_{私} = \int p_{0} （ ξ ） G^{私} （ ξ ） d ξ 。

$c_i=\int p_0(\xi)G^i(\xi)d\xi.$

ξ

$\xi$

ξ^{'}

$\xi'$

c_{i}

$c_i$

>>ゼロ項を取得するには：

$\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$ $\log\varphi(\xi)$

ログ φ （ ξ ） = - ξ^{2} / 2 - ログ \sqrt{2 π} 。

$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$

c_{私} \int φ （ ξ ） G^{私} （ ξ ） ログ φ （ ξ ） = - \frac{1}{2} c_{私} \int φ （ ξ ） G^{私} （ ξ ） ξ^{2} - ログ \sqrt{2 π} c_{私} \int φ （ ξ ） G^{私} （ ξ ） 、 （ 1 ）

$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$

$\int \varphi(\xi)F^i(\xi)\xi^k$ $0$ $k=0,1,2$ $(1)$ $k=2$ $k=0$

$\sum c_i^2$

\int φ （ ξ ） {（ \sum_{私 = 1}^{n} c_{私} G^{私} （ ξ ） ）}^{2} d ξ 。

$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$

\int φ （ ξ ） \sum_{k_{1} + k_{2} + 。 。 。 k_{n} = 2} \frac{2 ！}{k_{1} ！ k_{2} ！ 。 。 。 k_{n} ！} \prod_{1 \leq t \leq n} （ c_{t} G^{t} （ ξ ） ）^{k_{t}} d ξ 。

$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$

\int φ （ ξ ） G^{私} （ ξ ） G^{j} （ ξ ） d ξ

$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$

i \neq j

$i\neq j$

i = j

$i=j$

\int φ （ ξ ） {（ \sum c_{私} G^{私} （ ξ ） ）}^{2} d ξ = \sum c_{私}^{2} 。

$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$

$o(\text{whatever})$

$\text{whatever}$ $o(\text{whatever})$

PS：ちなみにこれは素晴らしい本です。このテーマに関する著者の論文も非常に優れており、ICAを理解して実装しようとする場合は必読です。

— ネスター
ソース

（+1）良い答え。合計が無限である場合、それらを積分と交換することにもっと注意する必要があります。それらが有限である場合（OPが示唆しているが、私は画像を詳しく見ていない）、あなたが示したように、すべてが簡単です。:

— 枢機

c_{i}^{2}

$c_i^2$

@枢機inal：そうそう！それらは有限です（無限にどこで書いたのかわかりません...）。私は答えを変えました。

— ネスター

@Mohammad、他の2つの質問に対する回答を書いています;-)。

— ネスター

@Néstor、この答えに+1ですが、あなたの最後のコメント、big-O 表記とlittle-o表記の間には違いがあると思います。

— マクロ