サンプルサイズと事後の事前の影響との関係は何ですか?


17

サンプルサイズが小さい場合、事前分布は事後分布に大きく影響しますか?


5
直感は明らかです。データが多いほど、事前に頼る必要が少なくなります。統計のレッスンだけでなく、人生のレッスンも!;)
ルーカスレイズ

回答:


27

はい。データセットが与えられた場合のパラメーターの事後分布は、次のように記述できます。θX

p(θ|X)p(X|θ)likelihoodp(θ)prior

または、ログスケールでより一般的に表示されるように、

log(p(θ|X))=c+L(θ;X)+log(p(θ))

対数尤度は、サンプルサイズに応じてスケーリングします。データ、以前の密度はそうではありません。したがって、サンプルサイズが大きくなるにつれて、の絶対値しながら大きくなっている(固定値のための固定されたままこうして) sumは、サンプルサイズが大きくなるにつれて、影響をより強く受けます。L(θ;X)=log(p(X|θ))L(θ;X)log(p(θ))θL(θ;X)+log(p(θ))L(θ;X)

したがって、あなたの質問に直接答えるために-事前分布は、尤度を上回って重要性が低くなります。そのため、サンプルサイズが小さい場合、事前分布がはるかに大きな役割を果たします。これは直観に一致します。なぜなら、サンプルサイズが非常に大きい場合、データに存在する信号がアプリオリを上回るため、それらを反証するために利用できるデータがあまりない場合、以前の仕様がより大きな役割を果たすと予想されるからです。信念がモデルに入れられました。


6
+1はも依存することに注意してください。cn

20

以下は、マクロの優れた(+1)回答の最後の段落を説明する試みです。これは、パラメータのための2つの事前確率を示しにおける分布。いくつかの異なるについて、が観測された場合の事後分布が表示されます。成長し、両方の事後は、より多くの周辺に集中なる。pBinomial(n,p)nx=n/2n1/2

違いはかなり大きいですが、ために、事実上違いはありません。n=2n=50

以下の2つの事前分布は、(黒)および(赤)です。後世は、それらが由来する事前と同じ色を持っています。Beta(1/2,1/2)Beta(2,2)

事後分布

(他の多くのモデルや他の事前分布では、では問題にならない事前分布では十分ではないことに注意してください!)n=50


4
非常にクールなイラスト、@MånsT。私はあなたの答えで「ベータ」と「二項」という言葉をイタリック体にしました-あなたが気にしないことを願っています。
マクロ

もちろん、そうではありません、@ Macro!この方が見栄えが良いことに同意します。
MånsT
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.