ベイズのパラメーター推定で事前を選択する方法

パラメーター推定、ML、MAP、ベイズアプローチの3つの方法を知っています。MAPとベイズのアプローチでは、パラメーターの事前分布を選択する必要がありますよね？

このモデルを持っているとします。ここではパラメーターであり、MAPまたはBayesを使用して推定を行うために、共役を選択する方が良いと本で読みました。前であり、関節の確率、右？ $p(x|\alpha,\beta)$ $\alpha,\beta$ $p(\alpha,\beta)$ $\alpha,\beta$

2つの質問があります。

この共役のもの以外の事前を選択する他の選択肢がありますか？
や、それぞれと事前確率を選択できますか？ $\alpha$ $\beta$ $p(\alpha)$ $p(\beta)$

bayesian estimation prior

— アボカド
ソース

使用するソフトウェアに応じて、事前確率は確かに尤度関数に共役する必要はありません...何よりもまず、事前確率がパラメーターの分布に関する以前の信念を表すことを確認する必要があります

— Patrick Coulombe

だから私は、それぞれのパラメーターの事前分布を選ぶことができますか？実際には、ベイジアン線形回帰を理解しようとしていますが、特定のソフトウェアは考慮されていません

— アボカド

ルックアップする前誘発を、例えばここに

— Scortchi -復活モニカ

回答:

コメントで述べたように、事前分布はパラメーターの分布に関する事前の信念を表しています。

以前の信念が実際に利用可能な場合、次のことができます。

それらをモーメント（例：平均および分散）に変換して、これらのモーメントに共通の分布を適合させます（たとえば、パラメーターが実線にある場合はガウス分布、場合はガンマ）。 $R^+$
これらの信念の直感的な理解を使用して、所定の事前分布を提案し、それが実際に目的に合っているかどうかを確認し、それが任意の選択に敏感ではないことを確認します（堅牢性または感度分析を実行します）

明示的な事前の信念が利用できない場合、次のことができます。

ジェフリーズ（例：位置パラメーターのユニフォーム）または参照先（特に、http： //www.stats.org.uk/priors/noninformative/YangBerger1998.pdf ）を派生（または、既に利用可能な場合は単に使用）多変量パラメーターの場合）。
そのような選択は不可能な場合や導き出すのが非常に困難な場合があります。この場合、多くの「一般的な」弱く有益な事前分布（たとえば、階層モデルのスケールパラメーターの均一な収縮分布またはガウス回帰の -prior）。 $g$

ことを言って、（ジョイント又は独立した使用前に制限がない対）。補足として、私は謙虚な意見で、優先順位を選択する際に注意すべき3つの主要な事柄があると言うでしょう。 $p(a,b)$ $p(a) \cdot p(b)$

事後分布はほぼどこでも（または適切に）積分可能であることに注意してください。これは、積分可能な事前分布を使用する場合に常に当てはまります（詳細については、ベイジアン事後分布が適切な分布である必要がありますか？を参照）。
サポート範囲に非常に自信がある場合にのみ、事前のサポートを制限します（そうしないようにしてください）。
最後に大事なことを言い忘れていましたが、（ほとんどの場合実験的に）事前の選択はあなたが表現したいことを意味することを確認してください。私の意見では、このタスクは時々より重要です。忘れないでください。推論を行う場合、事前はそれ自体では何も意味しないため、事後（事前と尤度の組み合わせ）を考慮する必要があります。

— プーフ
ソース

どうもありがとうございました。この種のベイジアン推論を行う方法に関するチュートリアルをお勧めしてもらえますか？

— アボカド

@loganecolssどういたしまして、私は数か月前に少しだけ迷いましたが、この投稿は私の自習の要約であり、他の人を助けることができればうれしいです。あなたの質問に関して、「この種のベイジアン推論」とはどういう意味ですか？

— peuhp

私はものを機械学習を自己勉強もよ、あなたはベイズ推定と推論を学ぶために私にいくつかの材料を表示することを願って、私はMLを知っていたが、パラメータ推定のこのベイジアンアプローチは私に新しいです、;-)

— アボカド

@loganecolss、これはMLE、MAP、およびベイジアン推論の良い要約です。また、このリンクは、二項分布の前にベイジアン推論を組み込む方法の概要を提供します。

— ジュバル

マイナーの精緻化：適切な前が表すパラメータに関する信念の一貫したセットを。彼らはあなたの信念である必要はありません。実際、モデルは他のモデルである場合にしばしば説得力があります。

— 共役

経験的なベイズもあります。アイデアは、データの前に調整することです。

{最大}_{p （ z ）} \int p （ D | z ） p （ z ） d z

$\text{max}_{p(z)} \int p(\mathcal{D}|z)p(z) dz$

これは最初は厄介に見えるかもしれませんが、実際には最小の記述長との関係があります。これは、ガウス過程のカーネルパラメーターを推定する一般的な方法でもあります。

— バイエルジ
ソース

上記の2つの質問に直接回答するには：

共役事前確率以外の非共役事前確率を選択する他の選択肢があります。問題は、非共役事前分布を選択した場合、正確なベイジアン推論を行えないことです（簡単に言えば、閉形式の事後分布を導き出すことはできません）。むしろ、おおよその推論を行うか、ギブスサンプリング、拒否サンプリング、MCMCなどのサンプリング手法を使用して事後を導出する必要があります。サンプリング方法の問題は、直観的には、暗闇の中で象に繰り返し触れることで絵を描くようなものだということです。人々が非共役事前を選択する理由は、特定の可能性のために、共役事前オプションがかなり制限されている、またはほとんどが非共役であるということです。
はい、間違いなくできます。αとβが独立している場合（理想的な条件）、p（α）p（β）によってそれらの共同分布を導き出すことができます。それらが独立していない場合、条件付き確率を把握し、積分を行って共同分布を導出する必要があります。

— タレントキャット
ソース