常習者設定のMCMC

私は、MCMCが使用されている頻出主義の設定におけるさまざまな問題を理解しようと努めています。MCMC（またはモンテカルロ）がGLMMのフィッティングや、おそらくモンテカルロEMアルゴリズムで使用されることを知っています。MCMCが使用されている場合、より頻繁な問題はありますか？

— Greenparker
ソース

ベイジアンモデルが頻出モデルとしても解釈できる場合（たとえば、すべての事前分布がフラットである場合）、事後モードはMLEです。そのため、MCMCを使用してMLEを実行できますが、これは非常に良い方法ではありません。

— コディオロジスト2016

@Kodiologistもちろん。ただし、事後平均に関心がある可能性が高いので（最小二乗損失関数で作業している場合）、MLEを見つけようとはしません。しかし、私はあなたの意味がわかります。

— Greenparker 2016

@Kodiologistしかしなぜ常習者はそれをするのでしょうか？まず、これは複数の概念的な問題を引き起こします（そのパラメーターがrvであると仮定すると、HDIの解釈方法など）。第2に、頻度主義者が最適化アルゴリズムの代わりにそれを使用して点推定を見つける場合、点推定の後でなければ非常に非効率的な方法なので、なぜそうするのでしょう...

— Tim

私は偶然これに出くわしましたが、これは役に立つトピックだと思いました。私が間違っていないのであれば、モンテカルロ法は一般に、ターゲットディストリビューションからのサンプリングに関係しており、ターゲットディストリビューションから直接サンプリングできる場合とできない場合があります。BayesianとFrequentistの間のシフトは、RVまたはパラメーターがRVであるためのデータの解釈です（@Timで述べられています）。したがって、MCの方法は「ベイジアン」でも「頻度主義」でもないように思えます。区別を作成するのは、むしろそれらの使用に適用される哲学です。これは正しい評価でしょうか？

— ジョン

@Greenparkerなので、従来のMCでは、次のような状況になる可能性があります whereとは、いくつかの器械的分布です。私があなたの論理に従っている場合、からの（直接）サンプリングはベイジアンでも頻度主義でもありませんが、経験的平均を使用すると、これが頻度主義推定になります。この論理の解釈は正しいですか？

E [h (x)] = \int h (x) f (x) d x \approx \frac{1}{n} \sum^{n} x_{i}

$E[h(x)] = \int h(x) f(x) dx \approx \frac{1}{n}\sum^n x_i$

x_{i} \sim f

$x_i \sim f$

f

$f$

f

$f$

— Jon

多くのコメントに示されているように、マルコフ連鎖モンテカルロは、モンテカルロ法の特殊なケースであり、疑似乱数シミュレーションを介して分布に関連する量を概算するように設計されています。そのため、Metropolisらのように、特定の統計的パラダイムやメソッドの最も初期のインスタンスとは関係ありません。（1953）、統計と関係がなかった、ベイジアンまたは頻度主義。これらの方法は、シミュレーションの数が増えるにつれて期待値に向かって周波数または平均の安定化、つまり大数の法則に依存するという点で、当然「頻度」（いずれにしても明確に定義されていないカテゴリ）です。

したがって、ベイジアン以外の複雑な問題では、MCMCメソッドを使用して扱いにくい積分を置き換えることが可能です。インスタンスを確認

潜在変数および変量効果モデルの場合のように、閉形式の表現がない尤度の最適化。EMアルゴリズムは扱いにくい「E」ステップが原因で機能しない場合があります。その場合、期待値はモンテカルロまたはマルコフ連鎖モンテカルロ近似に置き換える必要があります。可能性の評価の誤差の。または、扱いにくい「M」ステップが原因で機能しない可能性があります。その場合、シミュレーションされたアニーリングのように、最大化がマルコフ最大化手順に置き換えられることがあります。またはギブスステップを使用します。
計量経済学におけるシミュレートされた推論方法、モーメントのシミュレートされた方法、間接推論、経験的尤度。
たとえば、交換アルゴリズムを使用して、Ising、Potts、およびその他のマルコフ確率場モデルなどの扱いにくい正規化定数による尤度の近似。
頻度論的適合度検定。これは、閉形式密度のない十分または不十分な統計、または補助統計を条件とする場合のカバレッジ確率、 _values、パワーの計算を必要とする場合があります。（大規模な）分割表で独立性をテストする（または最尤推定量を導出する）例を見てみましょう。 $p$
再び、計量経済学では、ラプラス型推定器、「GMM、非線形IV、経験的尤度、最小距離法などの一般的な非尤度ベースの統計的基準関数の変換として定義された準事後分布の平均と分位数を含みます」（ChernozhukovおよびHong、2003年）は、MCMCアルゴリズムに依存しています。

— 西安
ソース