「バリエーション」とはどういう意味ですか？

「変分」の使用は常に変分推論による最適化を指しますか？

例：

• 「バリエーションオートエンコーダー」
• 「変分ベイズ法」
• 「変分繰り込みグループ」

これは、変分推論を使用することを意味します（少なくとも最初の2つは）。

つまり、確率密度が複雑な場合（つまり、MLEが困難な場合）に、最尤を近似する方法です。

MLのプロキシとして、Evidence Lower Bound（ELBO）を使用します。

$log(p(x)) \geq \mathbb{E}_q[log(p, Z)] - \mathbb{E}_q[log(q(Z))]$

ここで、は非表示の変数（示される）のより単純な分布です。たとえば、変分オートエンコーダーは、エンコーダーの出力で正規分布を使用します。$q$$Z$

名「変」は、ディストリビューションを探しているという事実から、最も可能性の高いくる ELBOを最適化しており、この設定は一種のようであるバリエーションの微積分、例えば機能を超える場その研究の最適化（、などの問題：与えられた家族2点間の2D曲線の場合、最小長の曲線を見つけます）。$q$

より具体的な説明が必要かどうかを確認できる、David Bleiによる変分推論に関する素晴らしいチュートリアルがあります。

編集：

実際、私が説明したのはVIの1つのタイプです。一般に、異なる発散を使用できます（説明したものは、KL発散使用に対応します）。詳細については、このペーパーのセクション5.2（別の分岐を使用したVI）を参照してください。$KL(q, p)$