「扱いやすい」分布とはどういう意味ですか?


13

たとえば、生成的敵対的ネットワークでは、潜在変数zが与えられたxの条件付き分布が「扱いやすい」ため、推論が容易であるとよく耳にします。また、ボルツマンマシンと変分オートエンコーダーが使用され、事後分布が扱いにくいため、何らかの近似を適用する必要があることをどこかで読んだことがあります。厳密な定義で、「扱いやすい」とはどういう意味ですか?または、上記の例で誰かが説明できますか?そのコンテキストで扱いやすいとはどういう意味ですか?


これは重要です。
Greenparker

1
これは単に、分布を使用して関連する計算を処理できることを意味します。それで、「扱いやすい」とは時間とともに拡大します!
kjetil b halvorsen 2017年

回答:


10

私の記憶としては、統計テキストでこれに関する正式な定義に出くわしたことはありませんが、いくつかの文脈上の読みから1つをつなぎ合わせることができると思います。ベイジアンデータ分析から始めます。261:

ベイズ計算は、事後分布の計算と事後予測分布の計算 2つのステップを中心に展開します。これまでは、これらが閉じた形で分析的に計算できる例を検討してきました[。]pθ|ypy^|y

障害は一般に限界尤度であり、ベイズの法則の右側の分母であり、分析的に表現できない積分が含まれる可能性があります。詳細については、コンテキストに役立つ閉じた形式の表現に関するwikiの記事が役立つと思います(強調は私):

数学では、閉形式の式は有限数の演算で評価できる数式です。定数、変数、特定の「よく知られている」演算(例:+ −×÷)、関数(例:n乗根、指数、対数、三角関数、逆双曲線関数)を含むことができますが、通常は制限がありません。閉じた形式の式で許可される操作と関数のセットは、作成者とコンテキストによって異なる場合があります

問題は、閉じた形の式で解決できれば扱いやすいと言われます。

読み進めると、式のクラスの表が表示されます。「分析式」には、指数族分布の定数の正規化に関連するいくつかのものが含まれています。たとえば、ガンマ分布のガンマ関数、およびフォンミーゼスフィッシャーのベッセル関数。

つまり、私たちは「扱いやすさ」の定義に少なくともこれらを認めるつもりです。(「分析式」として分類された操作のクラスを含む他の分布があるかもしれません。私はよく知らないことを告白します。)


1
これはすばらしい答えです、+ 1。1世紀以上前に「扱いやすい」とはどういう意味であったかを示すには、現代分析のコースであるWhittaker&Watsonの後半を参照してください。ガンマ関数とベッセル関数は氷山の一角にすぎません。
whuber

1
@whuber On Whittaker and Watson:GN Watsonは、カールピアソンに代わって尖度の境界を導き出すものとして、統計の歴史の中で小さな位置を占めています。ET Whittakerには、スムージングスプラインアバントラレットの親として、より大きなものがあります。
Nick Cox

@whuberありがとうございます!この投稿はあなたのコメントの時期にいくつかの賛成票を受け取りましたが、私はこれを「Huber Bump」の事例証拠としています。
Seanイースター

3

ショーンイースターの答えに加えて、計算コストの観点からいくつかの光を当てるようにします。

最初に、扱いにくい問題と扱いにくい問題を定義しましょう(参照:http : //www.cs.ucc.ie/~dgb/courses/toc/handout29.pdf)。

扱いやすい問題:多項式時間アルゴリズムによって解決可能な問題。上限は多項式です。

難治性の問題:多項式時間アルゴリズムでは解決できない問題。下限は指数です。

この観点から、扱いやすい分布の定義は、任意の点でこの分布の確率を計算するために多項式時間を要することです。

分布が閉形式である場合、この分布の確率は多項式時間で確実に計算できます。これは、学界では、分布が扱いやすいことを意味します。扱いにくい分布は指数時間以上かかります。これは通常、既存の計算リソースでは、比較的「短い」時間(多項式時間より長い時間は長い時間)の特定のポイントで確率を計算できないことを意味します... )。


0

分布によって引き起こされる限界確率が線形時間で計算できる場合、分布は扱いやすいと呼ばれます


1
引用や権威を引用していますか?これは興味深いですが、驚くべき特性です。そのため、それがどこから来たのか、およびその適用範囲は、ある程度興味深いものになります。
whuber

2
私が持っているソースを見つけたのは、Julissa Villanueva LlerenaとDenis DerataniMauáによる「マルチラベル分類のためのSum-Product Networksの使用について」
malocho
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.