ベイズ推定器は、真のパラメーターが前のものの可能な変量であることを要求しますか？

これは哲学的な質問のビットかもしれませんが、ここで私達は行く：決定理論では、リスクのベイズ推定量のための事前分布に関して定義されたの。 $\hat\theta(x)$ $\theta\in\Theta$ $\pi$ $\Theta$

ここで、一方で、真のがデータを生成した（つまり、「存在する」）には、は下で可能な変数である必要があります。一方、は既知ではないため、事前分布が選択されているため、真のが、選択した下で可能な変量であるという保証はありません。 $\theta$ $\theta$ $\pi$ $\theta$ $\theta$ $\pi$

さて、どうやらが変量になるようにを選択する必要があるようです。そうでなければ、特定の定理が成り立たなくなります。たとえば、ミニマックス推定値は、最も好ましい事前分布のベイズ推定値にはなりません。なぜなら、その領域からを含む大きな領域を除外し、その領域からを含めることで、事前分布を任意に悪くすることができるからです。ただし、が実際に領域内にあることを保証することは困難です。 $\pi$ $\theta$ $\theta$ $\theta$

だから私の質問は：

一般的に、実際のは可能な変量であると想定されていますか？ $\theta$ $\pi$
これは保証されますか？
これに違反するケースは少なくとも何らかの方法で検出できるので、条件が満たされない場合、ミニマックスなどの定理に依存しませんか？
それが必要でない場合、なぜ決定理論の標準結果が保持されるのですか？

— ユーザー32849
ソース

回答:

とてもいい質問です！それは確かに「良い」事前分布が「真」パラメータに正の確率または正の密度値を与えることを意味するだろうが、純粋には判断の観点から、こうである必要はありません。このことは、「直感」への単純な反例と、必要でなければならない前の密度となるパラメータの「真の」値は、鮮やかであるのminimaxity結果Casella and Strawderman（1981）：単一の観測値基づいて正規平均を推定する場合 $\theta_0$

π (θ_{0}) > 0

$\pi(\theta_0)>0$

π (\cdot)

$\pi(\cdot)$

θ_{0}

$\theta_0$

μ

$\mu$

その追加の制約付き

、場合

十分に小さい場合、

に具体的には、ミニマックス推定相当（最も好ましくない）均一の前に

つまり、

に等しい重みを与える

と

（及び任意になし平均のその他の値

）

x \sim N (μ, 1)

$x\sim{\cal N}(\mu,1)$

| μ | < ρ

$|\mu|<\rho$

ρ

$\rho$

ρ \leq 1.0567

$\rho\le 1.0567$

{- ρ, ρ}

$\{-\rho,\rho\}$

π

$\pi$

- ρ

$-\rho$

ρ

$\rho$

μ

$\mu$

とき

増加少なくとも良好前、その支持体が成長しているが、可能な値の有限集合を残り見ます。ただし、事後期待

、

任意の値を取ることができます。

π (θ) = \frac{1}{2} δ_{- ρ} (θ) + \frac{1}{2} δ_{ρ} (θ)

$\pi(\theta)=\frac{1}{2}\delta_{-\rho}(\theta)+ \frac{1}{2}\delta_{\rho}(\theta)$

ρ

$\rho$

E [μ | x]

$\mathbb{E}[\mu|x]$

(- ρ, ρ)

$(-\rho,\rho)$

ディスカッションの中心（コメントを参照）は、ベイズ推定量がサポートのポイントになるように制約されていた場合、そのプロパティがまったく異なる可能性があるということです。 $\pi(\cdot)$

同様に、許容可能な推定量を検討する場合、コンパクトセットで適切な事前分布に関連付けられているベイズ推定量は、サポートが制限されていますが、通常は許容されます。

\int_{Θ} L (θ, δ) π (θ | x) d θ

$\int_\Theta L(\theta,\delta) \pi(\theta|x)\text{d}\theta$

\int_{X} \int_{Θ} L (θ, δ) π (θ) f (x | θ) d θ d x

$\int_{\cal X}\int_\Theta L(\theta,\delta) \pi(\theta)f(x|\theta)\text{d}\theta\text{d}x$

θ_{0}

$\theta_0$

{\hat{θ}}^{π} (x) = \int_{Θ} θ π (θ | x) d θ

$\hat{\theta}^\pi(x)=\int_\Theta \theta\pi(\theta|x)\text{d}\theta$

L_{2}

$L_2$

π

$\pi$

余談ですが、読んでいるとき

真のθがデータを生成した（つまり、「存在する」）には、θはπの下で可能な変量でなければなりません。たとえば、確率がゼロではなく、密度がゼロではありません。

$\theta_0$ $\pi$ $x$ $f(x|\theta_0)$ $\pi$ ${\mathscr A}$ ${\mathscr A}$ $\hat{\theta}^\pi$

— 西安
ソース

μ

$\mu$

[0, + \infty)

$[0,+\infty)$

μ

$\mu$

通常、Berger（1985）を参照してください。最も前の優先度はミニマックスリスクに対応します。

— 西安

θ \sim π (θ)

$\theta \sim \pi(\theta)$

Θ = [- m, m]

$\Theta=[-m, m]$

Θ

$\Theta$

統合リスクには、どの段階でも「真の」パラメーターは含まれません。したがって、この意味では問題ではありません。

— 西安

したがって、ある意味では、リスクは私たちが実際に経験するものではなく、私たちが期待する損失を捉えます。これは非常に役に立ちました。どうもありがとうございました。

— user32849

$\theta$
$(-\infty, \infty)$ $[0,1]$ $(0, \infty)$
事後が前のドメインの一方のエッジで「積み上げ」られており、前がその同じエッジのドメインに不必要な制限を課している場合、これは不必要な制限が問題を引き起こしている可能性があるという臨時の指標です。ただし、これが発生するのは、a）実際の事前知識ではなく利便性によって主に駆動される事前情報を構築した場合、およびb）事前に誘導された便利な形式により、パラメータのドメインがその「自然な」ドメインと見なすことができます。

そのような例は、潜在的に計算上の困難を回避するために、ゼロからわずかに離れた分散項で以前のものを制限する古い、うまくいけば時代遅れの習慣です。分散の真の値が境界とゼロの間にある場合、まあ...しかし、実際にデータを与えられた分散の潜在的な値について考えるか、（たとえば）代わりに分散のログに事前分布を置くと、この問題を回避する必要があります。同様の軽度の巧妙さにより、ドメインを制限する優先順位を一般的に回避できます。

＃1で回答。

— jbowman
ソース

答えに反対票を投じた人が戻ってきたチャンス-なぜ「役に立たない」のですか？

— jbowman

$\theta$ $-\infty$ $\infty$

$\theta$

— ティム
ソース