頻出者のサンプリング分布を回帰設定でベイズ事後として解釈できないのはいつですか？

私の実際の質問は最後の2つの段落にありますが、それらに動機を与えるために：

既知の分散を持つ正規分布に従う確率変数の平均を推定しようとしている場合、平均に前に一様を置くと、尤度関数に比例する事後分布が得られることを読みました。これらの状況では、ベイジアン信頼区間は頻出信頼区間と完全に重なり、ベイジアン最大事後推定値は頻出最大尤度推定値と等しくなります。

単純な線形回帰設定では、

$Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2)$

上に均一な前入れと逆ガンマ前に後部の小さいパラメータ値の結果と frequentistに非常に類似して、及び事後配布のための信頼区間をは、最尤推定値の周囲の信頼区間に非常に似ています。彼らはまったく同じではありませんので、上の前 $\beta$ $\sigma^2$ $\hat\beta^{MAP}$ $\hat\beta^{MLE}$ $\beta|X$ $\sigma^2$ 事後推定は矛盾の別のソースをご紹介しますMCMCシミュレーションを介して行われますが、周りのベイズの信頼区間あれば影響の少量を発揮し、と周りfrequentist信頼区間なります互いにかなり近く、そしてもちろん、サンプルサイズが増加するにつれて、可能性の影響が前のもののそれを支配するように成長するにつれて、それらは収束するはずです。 $\hat\beta^{MAP}$ $\hat\beta^{MLE}$

しかし、これらの同等性が成り立たない退行状況もあると私は読んだ。たとえば、変量効果のある階層回帰、またはロジスティック回帰-これらは、私が理解しているように、「良い」目的または参照の事前分布がない状況です。

だから私の一般的な質問はこれです-私がについて推論したいと仮定します $P(\beta|X)$ 組み込む必要のある事前情報がないため、これらの状況で頻出の最尤推定を続行し、結果の係数推定と標準誤差をベイジアンMAP推定と標準偏差として解釈して、これらを暗黙的に処理できないのはなぜですか？そのような事後につながるだろう事前の明確な定式化を見つけることを試みることなしに「有益ではない」に違いない事前からの「事後」推定は？一般に、回帰分析の領域では、これらの線に沿って（事後のように可能性を処理することで）続行しても問題ないのはいつですか。準尤度法など、尤度ベースではない頻出法についてはどうでしょうか。

答えは、推論の対象が係数点の推定であるか、係数が特定の範囲内にある確率であるか、または予測分布の量であるかによって異なりますか？

— ヤッカノミカ
ソース

$p$

$H_0$ $p$ $H_0$

$p$ $P(D|H_0)$ $P(H_0|D)$

$p$ $\theta$

L (θ | D) = P (D | θ)

$L(\theta | D) = P(D|\theta)$

これは統計的推論を見る1つの方法です。別の方法はについて間接的ではなく）直接的に学習したいベイズアプローチです。 $P(\theta|D)$ $\theta$

\underset{posterior}{\underset{⏟}{P (θ | D)}} \propto \underset{likelihood}{\underset{⏟}{P (D | θ)}} \times \underset{prior}{\underset{⏟}{P (θ)}}

$\underbrace{P(\theta|D)}_\text{posterior} \propto \underbrace{P(D|\theta)}_\text{likelihood} \times \underbrace{P(\theta)}_\text{prior}$

$p$

したがって、最尤推定値は一様事前分布の下でのMAPベイジアン推定値と同じでなければなりませんが、それらは別の質問に答えることを覚えておく必要があります。

コーエン、J。（1994）。地球は丸いです（p <.05）。 アメリカの心理学者、 49、997-1003。

— ティム
ソース

@Tim、返信ありがとうございます。私はもっと明確だったはずです-P（D | H）とP（H | D）は一般に同じではなく、頻度分布とベイジアンは確率分布をパラメーターに割り当てることが適切かどうかについて意見が異なることを理解しています（またはより一般的な仮説）。私が尋ねているのは、推定量の（頻出）サンプリング分布が、真のパラメーター値の（ベイジアン）事後分布と数値的に等しい状況です。

— Yakkanomica 2015年

私の以前のコメントの続き：あなたは書きました：「したがって、最尤推定値は均一事前分布の下でのMAPベイジアン推定値と同じでなければなりません」-この関係が破綻する状況があるかどうかを尋ねています-両方の観点から点推定とそれらの周りの分布の。

— Yakkanomica 2015年

最後の補足事項-ベイジアンアプローチの主な利点は、事前の知識を柔軟に組み込むことができることだと言う人もいます。私にとって、ベイジアンアプローチの魅力は解釈にあります。つまり、確率分布をパラメーターに割り当てる機能です。事前情報を指定する必要があるのは面倒です。私は頻出主義の方法を使用できる状況を知りたいが、頻度の高い結果とベイジアンの結果は、情報価値のない事前確率の下で数値的に一致すると主張して、結果にベイジアン解釈を割り当てます。

— Yakkanomica 2015年

@Yakkanomicaわかりました。興味深い質問ですが、簡単な答え（上記のとおり）は、ベイジアンとは異なる質問に最も頻繁に回答する方法があるため、このような解釈を行うべきではないということです。MLとMAPのポイント推定は一致するはずですが、信頼区間とHDIは異なる可能性があり、互換性を解釈すべきではありません。

— Tim

しかし、@ Timでは、信頼区間とHDIが重複する状況があります。たとえば、p.1906のML推定を、p.1908のベイズ事後推定（係数の均一事前分布とスケールのIG事前分布に基づく）と比較します。PROCGENMODの例。MLポイントの推定値と95％の信頼限界は、ベイジアン事後平均推定値と95％のHPD間隔に非常に似ています。

— Yakkanomica