変分推論、KLダイバージェンスには真のが必要

変分推論について（非常に控えめに）理解するには、以下を最適化する分布を見つけることにより、未知の分布を近似しようとします。 $p$ $q$

K L (p | | q) = \sum_{x} p (x) l o g \frac{p (x)}{q (x)}

$KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)}$

変分推論の理解に時間を費やすときはいつでも、私はこの公式に挑戦し続け、私は要点を見逃しているように思わずにはいられません。を計算するためにを知る必要があるようです。しかし、全体の要点は、この分布知らなかったということです。 $p$ $KL(p||q)$ $p$

私が変分を読み込もうとするたびに私を悩ませてきたのはまさにこの点です。何が欠けていますか？

編集：

@wijの回答の結果として、ここにいくつかのコメントを追加します。より正確に説明します。

私が興味を持っているケースでは、次のことが当てはまると考えるのは確かに完全に合理的だと思われます。

p (θ | D) = \frac{p (D | θ) p (θ)}{p (D)} \propto p (D | θ) p (θ)

$p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} \propto p(D|\theta)p(\theta)$

この場合、とモデルを選択したので、がどのように比例して見えるかを知ることができました。次に、を推定できるように、家族分布 [ガウシアンと言いましょう] を選択する必要があると言って正しいでしょうか。この場合、正規化されていない近いガウス分布に適合しようとしているように感じます。これは正しいです？ $p$ $p(D|\theta)$ $p(\theta)$ $q$ $KL(p(\theta|D) || q)$ $p(D|\theta)p(\theta)$

もしそうなら、私の事後は正規分布であると想定しているように感じ、ダイバージェンスに関してこの分布の可能性のある値を見つけようとするだけです。 $KL$

variational-bayes

— ヴィンセントウォーマーダム
ソース

あなたはを完全に未知の物体として扱っているような気がします。これは事実ではないと思います。これはおそらく見逃したものです。 $p$

（iid）を観察し、を推論して、に対しておよびを仮定するとします。はモデルによって指定されます。ベイズの法則により、 $Y = \{y_i\}_{i=1}^n$ $p(x|Y)$ $p(y|x)$ $p(x)$ $x\in\mathbb{R}^d$

p (x | Y) = \frac{p (x)}{p (Y)} p (Y | x) = \frac{p (x)}{p (Y)} \prod_{i = 1}^{n} p (y_{i} | x) .

$p(x|Y) = \frac{p(x)}{p(Y)}p(Y|x) = \frac{p(x)}{p(Y)}\prod_{i=1}^n p(y_i|x).$

最初の観察は、事後分布について何か知っているということです。上記のように与えられます。通常、ノーマライザはわかりません。尤度が非常に複雑な場合、複雑な分布を持つことになります。 $p(x|Y)$ $p(Y)$ $p(y|x)$ $p(x|Y)$

変分推論を可能にする2番目のことは、が取ることができる形式に制約があることです。制約がない場合、はになり、通常は扱いにくくなります。通常、は、指数ファミリーの選択されたサブセットに存在すると想定されます。たとえば、これは完全に因数分解されたガウス分布のファミリである可能性があります。つまり、です。これが制約セットである場合、各コンポーネントは次のように与えられます。 $q$ $\arg \min_q KL(p||q)$ $p$ $q$ $q \in \mathcal{Q} = \{\prod_{i=1}^d q_i(x_i) \mid \text{each } q_i \text{ is a one-dimensional Gaussian}\}$ $q$

q_{i} \propto \exp (E_{\prod_{j \neq i} q_{j}} \log p (x, Y)),

$q_i \propto \exp( \mathbb{E}_{\prod_{j\neq i} q_j} \log p(x, Y) ),$

ここで、正確な式はそれほど重要ではありません。ポイントは、近似のは、真の知識と、近似のがとるべき形式の仮定に依存することによって見つけることができるということです。 $p(x, Y) = p(x) \prod_{i=1}^n p(y_i|x).$ $q$ $p$ $q$

更新

以下は、質問の更新された部分に回答するためのものです。について考えていることに気づきました。私は常に真の量にを使用し、おおよその量にを使用します。変分推論または変分ベイズでは、は $KL(q||p(x|Y))$ $p$ $q$ $q$

q = \arg min_{q \in Q} K L (q | | p (x | Y)) .

$q = \arg \min_{q \in \mathcal{Q}} KL(q\, ||\, p(x|Y)).$

上記のように制約がを設定すると、解決策は以前に与えられたものになります。今考えているなら $\mathcal{Q}$

q = \arg min_{q \in Q} K L (p (x | Y) | | q),

$q = \arg \min_{q \in \mathcal{Q}} KL( p(x|Y) \, || \, q),$

指数ファミリーのサブセットとして定義された場合、この推論は期待伝播（EP）と呼ばれます。この場合のの解は、そのモーメントがモーメントと一致するようなものです。 $\mathcal{Q}$ $q$ $p(x|Y)$

いずれにせよ、あなたは本質的にあなたがKLの意味での真の事後分布を何らかの形を取るように制約された分布によって近似しようとすると言っているのは正しいです。 $q$

— Wij
ソース

私はこれについて議論することはできません。これについては自分自身の光沢も含めて、ほとんどの説明だと思います。

— Peadar Coyle