不適切な分布からのサンプリング（MCMCなどを使用）

私の基本的な質問は、不適切な分布からどのようにサンプリングするのですか？不適切な分布からサンプリングすることも理にかなっていますか？

ここでの西安のコメントは、この種の問題に対処するものですが、これについての詳細を探していました。

MCMCに固有：

MCMCについて話し、論文を読む際に、著者は適切な事後分布を取得したことを強調します。著者が後部が適切かどうかを確認するのを忘れた有名なGeyer（1992）の論文があります（そうでない場合は優れた論文）。

しかし、尤度と事前分布が不適切であり、結果の事後分布も不適切であり、MCMCを使用して分布からサンプリングするとします。この場合、サンプルは何を示していますか？このサンプルに役立つ情報はありますか？ここで、マルコフ連鎖は一時的またはヌル再帰的であることを認識しています。null再発の場合、肯定的なテイクアウェイはありますか？$f(x|\theta)$$\theta$

最後に、ここでのニールGの回答では、彼は

通常、MCMCを使用して、たとえ不適切であったとしても、後方からサンプリングできます。

彼は、このようなサンプリングはディープラーニングでは一般的だと述べています。これが正しい場合、これはどのように意味がありますか？

不適切な事後（密度）からのサンプリングは、確率的/理論的な観点からは意味がありません。これは、関数fがパラメーター空間で有限積分を持たないため、（有限測定）確率モデル（Ω 、σ 、P）（空間、シグマ代数、確率測定にリンクできないためです。 ）。$f$$f$$(\Omega,\sigma,{\mathbb P})$

不適切な事後をもたらす不適切な事前のモデルがある場合、多くの場合、MCMCを使用して、たとえばMetropolis-Hastingsなどのサンプルからサンプリングでき、「事後のサンプル」は妥当に見えるかもしれません。これは一見魅力的で逆説的に見えます。ただし、この理由は、MCMCメソッドが実際のコンピューターの数値制限に制限されているため、コンピューターのすべてのサポートが制限されている（そして離散的！）ためです。次に、これらの制限（有界性と離散性）の下では、ほとんどの場合、事後は実際に適切です。

後部のギブスサンプラーを構築できる例（わずかに異なる性質の）を示すHobertとCasellaの素晴らしいリファレンスがあり、後部のサンプルは完全に合理的に見えますが、後部は不適切です！

http://www.jstor.org/stable/2291572

同様の例が最近ここに登場しました。実際、HobertとCasellaは、MCMCメソッドを使用して事後の不正を検出することはできず、MCMCメソッドを実装する前に個別にチェックする必要があることを読者に警告します。要約すれば：

1. Metropolis-Hastingsなどの一部のMCMCサンプラーは、コンピューターがパラメーター空間を制限し、2重化するため、不適切な後方からのサンプリングに使用できます（ただし、使用しないでください）。巨大なサンプルがある場合にのみ、いくつかの奇妙なことを観察できる可能性があります。これらの問題をどの程度検出できるかは、サンプラーで採用されている「楽器」の分布にも依存します。後者の点については、より詳細な議論が必要なので、ここに残すことを好みます。
2. （ホーバートとカセラ）。不適切な事前分布を持つモデルのギブスサンプラー（条件付きモデル）を構築できるという事実は、事後（結合モデル）が適切であることを意味しません。
3. 後部サンプルの正式な確率的解釈には、後部の妥当性が必要です。収束結果と証明は、適切な確率分布/測度に対してのみ確立されます。

PS（頬に少し舌）：機械学習で人々がすることを常に信じてはいけません。ブライアンリプリー教授が述べたように、「機械学習は統計からモデルと仮定のチェックを差し引いたものです」。

上記のRodの優れた回答から、より応用された代替ビューを提供します-

ほとんどではないにしても、多くの場合、事後の不適切は、「自分の尤度関数と事前分布を完全に確信し、何が起こったのかを確かめる」ではなく、便宜上選択した結果です。効果。これを考えると、計算を台無しにしない限り、私たちは適用された仕事で不正を真剣に考えるべきではありません。有名な人（Huber？Tukey？）がかつて観察したように、異なるコンテキストで、標準のコーシーとコーシーの切り捨ての違いは$+/- 10^{100}$ は検出できませんが、一方には瞬間がなく、もう一方にはすべての注文の瞬間があります。

これに関連して、次の週末にAT＆Tパークでホットドッグの需要の事後分布がある場合、アッパーテールは $1/x$、それは期待値を計算するアルゴリズムにとっては悪いニュースですが、サンフランシスコの推定人数で切り捨てると、来週末に実際にAT＆Tパークで販売されるホットドッグの数よりもやや多い数になります。まあ、少なくとも瞬間の存在に関しては。後者の場合、実際の事前の一種の2段階のアプリケーションと考えることができます-上限のない計算に使用するものと、それに等しい「余分な機能」サンフランシスコの人口の上にゼロ...」、サンプルの生成に続くステップで「追加機能」が適用されます。実際の事前分布は、MCMC計算で使用されるものではありません（私の例では）。

したがって、原則として、適用作業で不適切な分布からMCMCで生成されたサンプルを使用しても大丈夫ですが、その不適切な処理がどのように発生し、ランダムサンプルがそれによってどのように影響を受けるかについて、多くの注意を払っています。理想的には、私のホットドッグの例のように、ランダムサンプルは影​​響を受けないでしょう。合理的な世界では、サンフランシスコの人々の数よりも多い乱数を実際に生成することはありません...

また、後から大量に切り捨てた場合（またはモデルに適切な変更を加えた場合でも）、結果が不適切な原因となった事後の機能に非常に敏感である可能性があることに注意する必要があります。 ）後部を不適切なものから適切なものにシフトするわずかな変化に対して結果が堅牢であることを望みます。これを確認するのは難しいかもしれませんが、すべての結果、特に便宜上作成された仮定に対して結果が堅牢であることを確認するという大きな問題の一部です。