たとえば、生成的敵対的ネットワークでは、潜在変数zが与えられたxの条件付き分布が「扱いやすい」ため、推論が容易であるとよく耳にします。また、ボルツマンマシンと変分オートエンコーダーが使用され、事後分布が扱いにくいため、何らかの近似を適用する必要があることをどこかで読んだことがあります。厳密な定義で、「扱いやすい」とはどういう意味ですか?または、上記の例で誰かが説明できますか?そのコンテキストで扱いやすいとはどういう意味ですか?
たとえば、生成的敵対的ネットワークでは、潜在変数zが与えられたxの条件付き分布が「扱いやすい」ため、推論が容易であるとよく耳にします。また、ボルツマンマシンと変分オートエンコーダーが使用され、事後分布が扱いにくいため、何らかの近似を適用する必要があることをどこかで読んだことがあります。厳密な定義で、「扱いやすい」とはどういう意味ですか?または、上記の例で誰かが説明できますか?そのコンテキストで扱いやすいとはどういう意味ですか?
回答:
私の記憶としては、統計テキストでこれに関する正式な定義に出くわしたことはありませんが、いくつかの文脈上の読みから1つをつなぎ合わせることができると思います。ベイジアンデータ分析から始めます。261:
ベイズ計算は、事後分布の計算と事後予測分布の計算 2つのステップを中心に展開します。これまでは、これらが閉じた形で分析的に計算できる例を検討してきました[。]
障害は一般に限界尤度であり、ベイズの法則の右側の分母であり、分析的に表現できない積分が含まれる可能性があります。詳細については、コンテキストに役立つ閉じた形式の表現に関するwikiの記事が役立つと思います(強調は私):
数学では、閉形式の式は有限数の演算で評価できる数式です。定数、変数、特定の「よく知られている」演算(例:+ −×÷)、関数(例:n乗根、指数、対数、三角関数、逆双曲線関数)を含むことができますが、通常は制限がありません。閉じた形式の式で許可される操作と関数のセットは、作成者とコンテキストによって異なる場合があります。
問題は、閉じた形の式で解決できれば扱いやすいと言われます。
読み進めると、式のクラスの表が表示されます。「分析式」には、指数族分布の定数の正規化に関連するいくつかのものが含まれています。たとえば、ガンマ分布のガンマ関数、およびフォンミーゼスフィッシャーのベッセル関数。
つまり、私たちは「扱いやすさ」の定義に少なくともこれらを認めるつもりです。(「分析式」として分類された操作のクラスを含む他の分布があるかもしれません。私はよく知らないことを告白します。)
ショーンイースターの答えに加えて、計算コストの観点からいくつかの光を当てるようにします。
最初に、扱いにくい問題と扱いにくい問題を定義しましょう(参照:http : //www.cs.ucc.ie/~dgb/courses/toc/handout29.pdf)。
扱いやすい問題:多項式時間アルゴリズムによって解決可能な問題。上限は多項式です。
難治性の問題:多項式時間アルゴリズムでは解決できない問題。下限は指数です。
この観点から、扱いやすい分布の定義は、任意の点でこの分布の確率を計算するために多項式時間を要することです。
分布が閉形式である場合、この分布の確率は多項式時間で確実に計算できます。これは、学界では、分布が扱いやすいことを意味します。扱いにくい分布は指数時間以上かかります。これは通常、既存の計算リソースでは、比較的「短い」時間(多項式時間より長い時間は長い時間)の特定のポイントで確率を計算できないことを意味します... )。