VAEの再パラメーター化のトリックはどのように機能し、なぜそれが重要なのですか？

変分オートエンコーダー（VAE）の再パラメーター化トリックはどのように機能しますか？基礎となる数学を単純化せずに直感的で簡単な説明はありますか？そして、なぜ「トリック」が必要なのでしょうか？

KingmaのNIPS 2015ワークショップスライドを読んだ後、ランダムノードを逆伝播するために再パラメーター化のトリックが必要であることに気付きました。

直感的には、VAEは元の形式で、真の事後のパラメトリックモデルq （z ∣ ϕ 、x ）で近似されるランダムノードからサンプリングします。Backpropはランダムノードを通過できません。$z$$q(z \mid \phi, x)$

新しいパラメータの導入私たちが再パラメータ化することを可能にするzのバックプロパゲーションは、確定ノードを流すことができるように。$\epsilon$$z$

我々は、正規分布を有すると仮定によってパラメータ化されたθ、具体的にはq個のθ（X ）= Nを（θ 、1 ）。私たちは、以下の問題が解決したい 分$q$$\theta$$q_{\theta}(x) = N(\theta,1)$ これはもちろんかなり馬鹿げた問題であり、最適な θは明らかです。ただし、ここでは、このパラメータE q [ x 2 ]の勾配を計算する際に、再パラメータ化のトリックがどのように役立つかを理解したいだけです。

$$\text{min}_{\theta} \quad E_q[x^2]$$ $\theta$$E_q[x^2]$

$\nabla_{\theta} E_q[x^2]$

$$\nabla_{\theta} E_q[x^2] = \nabla_{\theta} \int q_{\theta}(x) x^2 dx = \int x^2 \nabla_{\theta} q_{\theta}(x) \frac{q_{\theta}(x)}{q_{\theta}(x)} dx = \int q_{\theta}(x) \nabla_{\theta} \log q_{\theta}(x) x^2 dx = E_q[x^2 \nabla_{\theta} \log q_{\theta}(x)]$$

$q_{\theta}(x) = N(\theta,1)$

$$\nabla_{\theta} E_q[x^2] = E_q[x^2 (x-\theta)]$$

再パラメーター化のトリックは、勾配をとる分布がパラメーター依存しないように、期待値を書き換える方法です。これを実現するには、qの確率的要素をθから独立させる必要があります。そこで、我々は書くのxを通り 、X = θ + ε $\theta$$q$$\theta$$x$

$$x = \theta + \epsilon, \quad \epsilon \sim N(0,1)$$ $$E_q[x^2] = E_p[(\theta+\epsilon)^2]$$ $p$$\epsilon$$N(0,1)$$E_q[x^2]$ $$\nabla_{\theta} E_q[x^2] = \nabla_{\theta} E_p[(\theta+\epsilon)^2] = E_p[2(\theta+\epsilon)]$$

勾配を計算するこれらの2つの方法の分散を調べるIPythonノートブックを次に示します。 http://nbviewer.jupyter.org/github/gokererdogan/Notebooks/blob/master/Reparameterization%20Trick.ipynb

「再パラメータ化のトリック」の数学の合理的な例は、gokerの答えにありますが、動機付けが役立つ場合があります。（私はその答えにコメントする許可を持っていません。したがって、ここに別の答えがあります。）

$G_\theta$

$$G_\theta = \nabla_{\theta}E_{x\sim q_\theta}[\ldots]$$

$E_{x\sim q_\theta}[G^{est}_\theta(x)]$

$$G^{est}_\theta(x) = \ldots\frac{1}{q_\theta(x)}\nabla_{\theta}q_\theta(x) = \ldots\nabla_{\theta} \log(q_\theta(x))$$

$x$$q_\theta$$G^{est}_\theta$$G_\theta$$\theta$

$G^{est}_\theta$$G_\theta$

$G_\theta$$x$$x$$q_\theta(x)$$\frac{1}{q_\theta(x)}$$x$$G_\theta$$q_\theta$$G^{est}_\theta$$x$$q_\theta$$\theta$、最適とはほど遠い場合があります（たとえば、任意に選択された初期値）。それは、彼がそれらを落とした場所の近くではなく、街灯の近くで彼が鍵を探す（それが彼が見る/サンプルできる場所だから）酔っ払った人の物語に少し似ています。

$x$$\epsilon$$p$$\theta$$G_\theta$$p$

$$G_\theta = \nabla_\theta E_{\epsilon\sim p}[J(\theta,\epsilon)] = E_{\epsilon\sim p}[ \nabla_\theta J(\theta,\epsilon)]$$ $J(\theta,\epsilon)$

$\nabla_\theta J(\theta,\epsilon)$$p$$\epsilon$$p$$\theta$$p$

$\nabla_\theta J(\theta,\epsilon)$$G_\theta$$G_\theta$$\epsilon$$p$$p$$\epsilon$$J$

それがお役に立てば幸いです。

まず、VAEで再パラメーター化のトリックが必要な理由を説明します。

VAEにはエンコーダーとデコーダーがあります。デコーダーは真の後部Z〜q（z∣ϕ、x）からランダムにサンプリングします。エンコーダーとデコーダーをニューラルネットワークとして実装するには、ランダムサンプリングを介して逆伝播する必要があります。これは、逆伝播がランダムノードを通過できないため問題です。この障害を克服するために、再パラメーター化トリックを使用します。

今、トリックに来ましょう。事後分布は正規分布しているため、別の正規分布で近似できます。Zを正規分布εで近似します。

しかし、これはどのように関連していますか？

今、代わりにその格言のZがからサンプリングされたQ（z|φ、x）は、私たちが言うことができZが、パラメータとる関数である（ε、（μ、L））及びこれらのμを、Lは、上位ニューラルネットワーク（エンコーダ）から来ています。したがって、バックプロパゲーションに必要なのは、µに対する偏導関数だけであり、Lおよびεは導関数の取得には無関係です。

確率的グラフィカルモデルに関するスタンフォードCS228コースで見つかった説明は非常に良いと思いました。ここで見つけることができます：https : //ermongroup.github.io/cs228-notes/extras/vae/

ここでは、便宜上/自分の理解のために重要な部分を要約/コピーしました（ただし、元のリンクを確認することを強くお勧めします）。

$$\nabla_\phi \mathbb{E}_{z\sim q(z|x)}[f(x,z)]$$

スコア関数推定器に精通している場合（REINFORCEはこの特殊なケースにすぎないと考えています）、それが解決する問題であることに気付くでしょう。ただし、スコア関数推定器の分散は大きく、モデルの学習に多くの場合困難をもたらします。

$q_\phi (z|x)$

$\epsilon$$p(\epsilon)$$g_\phi(\epsilon, x)$$q_\phi$

例として、サンプリングする非常に単純なqを使用してみましょう。

$$z \sim q_{\mu, \sigma} = \mathcal{N}(\mu, \sigma)$$ $q$ $$z = g_{\mu, \sigma}(\epsilon) = \mu + \epsilon\cdot\sigma$$ $\epsilon \sim \mathcal{N}(0, 1)$

$p(\epsilon)$

$$\nabla_\phi \mathbb{E}_{z\sim q(z|x)}[f(x,z)] = \mathbb{E}_{\epsilon \sim p(\epsilon)}[\nabla_\phi f(x,g(\epsilon, x))]$$

これは、重要な理由ではないが、ばらつきが小さい。説明については、付録のパートDを参照してください：https : //arxiv.org/pdf/1401.4082.pdf

確率モデルがあります。そして、モデルのパラメータを回復したい。変分下限（VLB）を最適化する作業を減らします。これを行うには、次の2つのことを行う必要があります。

• VLBを計算する
• VLBの勾配を取得

著者は、両方にMonte Carlo Estimatorを使用することを提案しています。そして実際に、彼らはこのトリックを導入して、より正確なVLBのモンテカルログラディエントエスティメータを取得します。

それは単に数値的手法の改善です。

再パラメータ化のトリックは、勾配のMC推定量の分散を劇的に減らします。したがって、これは分散削減手法です。

$$\nabla_\phi \mathbb E_{q(z^{(i)} \mid x^{(i)}; \phi)} \left[ \log p\left( x^{(i)} \mid z^{(i)}, w \right) \right]$$

$$\nabla_\phi \mathbb E_{q(z^{(i)} \mid x^{(i)}; \phi)} \left[ \log p\left( x^{(i)} \mid z^{(i)}, w \right) \right] = \mathbb E_{q(z^{(i)} \mid x^{(i)}; \phi)} \left[ \log p\left( x^{(i)} \mid z^{(i)}, w \right) \nabla_\phi \log q_\phi(z)\right]$$ $p\left( x^{(i)} \mid z^{(i)}, w \right)$$\log p\left( x^{(i)} \mid z^{(i)}, w \right)$は非常に大きく、値自体は負です。そのため、分散が大きくなります。

$z^{(i)} = g(\epsilon^{(i)}, x^{(i)}, \phi)$

$$\nabla_\phi \mathbb E_{q(z^{(i)} \mid x^{(i)}; \phi)} \left[ \log p\left( x^{(i)} \mid z^{(i)}, w \right) \right] = \mathbb E_{p(\epsilon^{(i)})} \left[ \nabla_\phi \log p\left( x^{(i)} \mid g(\epsilon^{(i)}, x^{(i)}, \phi), w \right) \right]$$

$p(\epsilon^{(i)})$$p(\epsilon^{(i)})$$\phi$

$z^{(i)}$$z^{(i)} = g(\epsilon^{(i)}, x^{(i)}, \phi)$