線形回帰を行う場合、スロープには情報のない事前情報が必要ですか?


10

ベイジアン線形回帰を実行する場合、勾配と切片事前分布を割り当てる必要があります。以来、、それが前に均一に割り当てることは理にかなって位置パラメータです。しかし、私はがスケールパラメータに似ているように見え、その前にユニフォームを割り当てるのは不自然に思われます。b b aabba

一方で、線形回帰の傾きに通常の有益ではないジェフリー事前分布()を割り当てることはまったく適切ではないようです。一つには、それは否定的なことができます。しかし、私はそれが他に何であるかを見ることができません。1/a

では、ベイジアン線形回帰の傾きの事前の「適切な」非情報とは何でしょうか。(参考文献をいただければ幸いです。)


スロープは、実際にはスケールパラメータとは異なります。たとえば、負の値になる場合があります。事前に「適切な」情報がない(「情報量が少ない」方がいいかもしれません)ということはありません。いくつかの一般的な選択肢があり、さまざまな人やさまざまな状況に適しています。
Glen_b-2016

回答:


10

ベイジアンデータ分析第3版から、p。355:

標準的な情報のない事前配布

正規回帰モデルでは、便利な非情報事前分布はまたは同等に均一ですP β σ 2 | X α σ - 2(β,logσ)

p(β,σ2|X)σ2

(はリグレッサを指します。)この本には、この質問の範囲を超えた有用な詳細な説明が含まれています。X


9

ベイジアンは通常、数学的に困難な人生を耐えやすくする事前分布を選択します。これは、モデルが絶対に禁止しない限り、ガウス事前分布を意味します。勾配と場所の相関関係、およびそれらの限界動作をモデル化する必要があるため、状況によっては事前に2変量が必要であることを覚えておいてください。多変量正規はあなたのチケットです。

パラメータの前のガウス分布は、回帰モデルが既に持っている(疑いのない)ガウス測定誤差とうまく適合します。

ちなみに、勾配を負にすることはできますが、スケールパラメーターはできないため、勾配をスケールパラメーターに関連付けません。

現在、ガウス分布は以前の情報を提供するものではありませんが、事前情報が本当にない場合は、おそらく頻繁に行ってください。または、分散が非常に大きいガウス分布を使用します。

ベイジアン推論への現代的な言及は知りません。バズーカを使ってウサギを撃つ危険性がある場合は、オンラインで入手できるラスムッセンとウィリアムズを調べることができます。第2章の最初のセクションでは、ベイジアン回帰について少し詳しく説明します。


3

しかし私に平ら事前確率を置くというアイデアなど、典型的には均一な勾配に先立って使用されているオフセット及びとある角と行およびy = 0。これにより、事前分布が得られ、 ゼロ付近の勾配が優先されます。これはhttp://jakevdp.github.io/blog/2014/06/14/frequencyism-and-bayesianism-4-bayesian-in-python/#The-Prior、およびFrequentism and Bayesianism:A Python-drivenジェイク・ヴァンダーブラスによるプライマー B のcos θ θ P B = 1 + 2 - 3 / 2tan1(a)bcosθθ

p(a,b)=(1+a2)3/2
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.