ベイジアン設定での以前の「物忘れ」？

それはあなたがより多くの証拠を持っているように（大きい方の形で言っていることはよく知られているについて、ベイジアン前「忘れられた」ますIID例）、及び推論のほとんどは、証拠（または可能性）の影響を受けています。 $n$ $n$

さまざまな特定のケース（ベータ前のベルヌーイやその他のタイプの例など）で簡単に確認できますが、一般的なケースでといくつかの以前の？ $x_1,\ldots,x_n \sim p(x|\mu)$ $p(\mu)$

編集：私はそれが任意の事前の一般的なケースでは表示できないと思います（たとえば、点質量の事前は事後点質量を維持します）。しかし、おそらく、事前が忘れられる特定の条件があるでしょう。

これは、私がそのようなものを示すことを考えている種類の「パス」です。

パラメータ空間がであると仮定し、とを2つの事前分布とすると、すべてのにゼロ以外の確率質量が配置されます。したがって、それぞれの以前の2つの事後計算は次のようになります。 $\Theta$ $p(\theta)$ $q(\theta)$ $\Theta$

p (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) p (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$

および

q （ θ | {バツ}_{1} 、 \dots 、 {バツ}_{ん} ） = \frac{\underset{私}{Π} p （ {バツ}_{私} | θ ） q （ θ ）}{\int_{θ} \underset{私}{Π} p （ {バツ}_{私} | θ ） q （ θ ） d θ}

$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$

を（事後）で除算すると、次のようになります。 $p$ $q$

p （ θ | {バツ}_{1} 、 \dots 、 {バツ}_{ん} ） / q （ θ | {バツ}_{1} 、 \dots 、 {バツ}_{ん} ） = \frac{p （ θ ） \int_{θ} \underset{私}{Π} p （ {バツ}_{私} | θ ） q （ θ ） d θ}{q （ θ ） \int_{θ} \underset{私}{Π} p （ {バツ}_{私} | θ ） p （ θ ） d θ}

$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$

ここで、が移動するときの上記の用語について説明します。理想的にはそれがに行くと確かにまたは他のいくつかの素敵な行動「理にかなっている」が、私はそこに何も表示する方法を見つけ出すことができません。 $n$ $\infty$ $1$ $\theta$

bayesian prior

— bayesianOrFrequentist
ソース

直観的には、尤度はサンプルサイズに比例しますが、事前確率はそうではありません。

— 2013年

@Macro、ありがとう、私もその直感を持っていましたが、それをさらに進めることはできませんでした。上記の私の編集を参照してください。

— bayesianOrFrequentist 2013年

GhoshとRamamoorthiの教科書Bayesian Nonparametricsの最初の数章は、あなたが話している種類のことを最初にパラメトリックに示します（最初はパラメトリック設定、次にノンパラメトリック設定）。適切な機関にいる場合は、Springerのオンラインを通じて無料で利用できます。以前の依存性の欠如を漸近的に定式化する方法はいくつかありますが、もちろんいくつかの規則性条件があります。

— 男

事後比率は前の比率にちょうど比例しているため、尤度も証拠比率も実際にはこれに影響しないことに注意してください。

— 確率

回答:

ラフ、しかしうまくいけば直感的な答え。

ログスペースの観点から見てください。- ここで、はパラメーターに依存せず、データに依存する定数であり、尤度はiid観測を想定しています。したがって、後部の形状を決定する部分、つまり集中してください
$- ログ P （ θ | {バツ}_{1} 、 \dots 、 {バツ}_{ん} ） = - ログ P （ θ ） - Σ_{私 = 1}^{ん} ログ P （ {バツ}_{私} | θ ） - C_{ん}$ $-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$ $C_n>0$ $S_{ん} = - ログ P （ θ ） - Σ_{私 = 1}^{ん} ログ P （ {バツ}_{私} | θ ）$ $S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$
ようながあると仮定し。これは、離散分布の場合は妥当です。 $D>0$ $-\log P(\theta) \leq D$
条件はすべて肯定的であるため、は「成長する」でしょう（ここでは専門性を省略しています）。しかし、事前分布の寄与はによって制限されます。したがって、前のデータが寄与する部分（最大で、追加の観測ごとに単調に減少します。 $S_n$ $D$ $D/S_n$

もちろん、厳密な証明は専門性に直面する必要があります（そして、それらは非常に難しい場合があります）が、上記の設定は非常に基本的な部分である私見です。

— ペドロ・A・オルテガ
ソース

「以前のことは忘れられている」と「ほとんどの推論は証拠によって影響を受ける」という文が何を意味することになっているのか、私は多少混乱しています。データ量が増えるにつれて、推定値（のシーケンス）が以前の値に関係なくパラメーターの真の値に近づくということを意味していると思います。

事後分布の形式にいくつかの規則性条件があると仮定すると、ベイズ推定量は一貫しており、漸近的に偏りがありません（Gelman et al、Chapter 4を参照）。これは、サンプルサイズが増加するにつれて、ベイズ推定量がパラメーターの真の値に近づくことを意味します。 一貫性とは、ベイズ推定量が真のパラメーター値に確率的に収束することを意味し、漸近不偏は、がパラメーターの真の値であると仮定すると、 $\theta_0$

\frac{E [\hat{θ} | θ_{0}] - θ_{0}}{\sqrt{V a r （ \hat{θ} ）}} \overset{p}{\to} 0

$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$

収束は事前分布の特定の形式に依存せず、事前分布から得られた事後分布と尤度が規則性条件を満たすことだけに依存します。

Gelmanらで言及されている最も重要な規則性条件は、尤度がパラメーターの連続関数であり、パラメーターの真の値がパラメーター空間の内部にあることです。また、注記したように、事後はパラメーターの真の値の真の値の開いた近傍で非ゼロでなければなりません。通常、事前分布はパラメーター空間全体でゼロ以外でなければなりません。

— キャバーク
ソース

ありがとう、非常に洞察に満ちています。「真の」パラメータ値にさえ関係しない結果を実際に望んでいました。技術的にそれを示すだけで、より多くの証拠があるので、あなたが得る事後は、あなたが始めた前のものに関係なく同じです。それを反映するために、いくつかの編集を行います。

— bayesianOrFrequentist 2013年

@bayesianOrFrequentistいわゆるベイジアン中心極限定理を見てください。

— ステファン・ローラン