スタインのパラドックスが次元のみ適用される理由の背後にある直観

スタインの例は、平均および分散をもつ正規分布変数の最尤推定値は場合に許容できないことを示しています（平方損失関数の下）。きちんとした証拠については、大規模推論の最初の章を参照してください： Bradley Effronによる推定、テスト、および予測のための経験的ベイズ法。μ 1、... 、μ nは 1 のn ≥ $n$$\mu_1,\ldots,\mu_n$$1$$n\ge 3$

、最も注目すべきは（これは非常に最初に私には驚くべきことであったが、1は、標準的な推定値は許容できないことを期待するかもしれない理由の背後にあるいくつかの直感があった場合、その後、 n。Steinの元の論文で概説されているように、以下にリンクされています）。$x \sim \mathcal N(\mu,1)$$\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

私の質問はむしろ：$n$次元空間（$n\ge 3$）のどの特性が$\mathbb{R}^2$欠けており、それがSteinの例を容易にしているのか？可能な答えは、$n$球の曲率、またはまったく異なるものです。

つまり、\ mathbb {R} ^ 2で MLEが許容されるのはなぜ$\mathbb{R}^2$ですか？

---

編集1： @mpiktasへの応答では、1.30から1.31に続く懸念：

$$E_\mu\left(\|z-\hat{\mu}\|^2\right)=E_\mu\left(S\left(\frac{N-2}{S}\right)^2\right)=E_\mu\left(\frac{(N-2)^2}{S}\right).$$

$$\hat{\mu_i} = \left(1-\frac{N-2}{S}\right)z_i$$ よう $$E_\mu\left(\frac{\partial\hat{\mu_i}}{\partial z_i} \right)=E_\mu\left( 1-\frac{N-2}{S}+2\frac{z_i^2}{S^2}\right).$$ したがって、次のものがあります。

$$2\sum_{i=1}^N E_\mu\left(\frac{\partial\hat{\mu_i}}{\partial z_i} \right)=2N-2E_\mu\left(\frac{N(N-2)}{S}\right)+4E_\mu\left(\frac{(N-2)}{S}\right)\\=2N-E_\mu\frac{2(N-2)^2}{S}.$$

編集2：この論文では、スタインは、MLEがN = 2に対して許容されることを証明してい$N=2$ます。

次元の多変量正規確率変数の平均のMLEの許容性について、と間の二分法は確かに衝撃的です。$d < 3$$d \geq 3$$d$

とケースの間で二分する確率と統計の別の非常に有名な例があります。これは、格子上の単純なランダムウォークの繰り返しです。つまり、次元の単純なランダムウォークは1次元または2次元では再帰的ですが、次元では一時的です。（ブラウン運動の形の）連続時間アナログも成り立ちます。$d < 3$$d \geq 3$$\mathbb{Z}^d$$d$$d \geq 3$

2つは密接に関連していることがわかります。

Larry Brownは、2つの質問が本質的に同等であることを証明しました。つまり、次元のブラウン運動が再帰的である場合に限り、次元の多変量正規平均ベクトルの最良の不変推定量が許容されます。$\hat{\mu} \equiv \hat{\mu}(X) = X$$d$$d$

実際、彼の結果はさらに大きくなります。以下のための任意の賢明な（すなわち、一般化ベイズ）推定との有界（一般）リスクは、明示的に存在する（！）は、対応する次元拡散よう推定器は、対応する拡散が再帰的である場合にのみ許容されます。$\tilde{\mu} \equiv \tilde{\mu}(X)$$L_2$$d$$\tilde{\mu}$

この拡散の局所平均は、本質的に2つの推定量、つまりの不一致であり、拡散の共分散はです。このことから、MLE場合、ブラウン運動を復元（再スケーリング）することが簡単にわかります。$\tilde{\mu} - \hat{\mu}$$2 I$$\tilde{\mu} = \hat{\mu} = X$

したがって、ある意味で、確率過程のレンズを通して許容性の問題を見て、拡散のよく研究された特性を使用して、望ましい結論に到達することができます。

参照資料

1. L.ブラウン（1971）。許容可能な推定量、繰り返し拡散、および不溶性の境界値の問題。アン。数学。統計 、vol。42、いいえ。3、pp。855–903。
2. RN Bhattacharya（1978）。多次元拡散に対する不変測度の再発と存在の基準。アン。確率 、vol。6、いいえ。4、541〜553。

@cardinalはすばらしい回答（+1）を出しましたが、証拠に精通していない限り（そして私も知らない）、問題全体は謎のままです。したがって、Steinのパラドックスがおよび現れない直観的な理由については疑問が残ると思います。$\mathbb R$$\mathbb R^2$

スティーブンスティグラー、1990年、収縮推定量に関するガルトニアンの視点で提供されている回帰の観点が非常に役立つと思います。独立した測定値検討します。各測定値は、基礎となる（観測されていない）を測定し、からサンプリングします。どういうわけか知っていれば、ペアの散布図を作成できます。$X_i$$\theta_i$$\mathcal N(\theta_i, 1)$$\theta_i$$(X_i, \theta_i)$

対角線は、ゼロノイズと完全推定に対応します。実際にはノイズはゼロではないため、ポイントは対角線から水平方向にずれています。Correspondinly、の回帰直線として見ることができる上の。ただし、を知っているのでを推定したいので、上の回帰線を考慮する必要があります- 図に示すように、水平方向にバイアスされた異なる勾配を持ちます（破線）。$\theta = X$$\theta = X$$X$$\theta$$X$$\theta$$\theta$$X$

スティグラーの論文からの引用：

スタインのパラドックスに関するこのガルトニアンの視点は、それをほぼ透明にします。「通常の」は、上の理論回帰線から導出されます。目的がからを予測することである場合、その行は役立ちますが、問題は逆です。つまり、平方誤差のを使用してからを予測することです基準。その基準に対して、最適な線形推定量は、上の最小二乗回帰線によって与えられます。$\hat \theta_i^0 = X_i$$X$$\theta$$X$$\theta$$\theta$$X$$\sum (\theta_i - \hat \theta_i)^2$$\theta$$X$、およびJames-SteinおよびEfron-Morrisの推定量は、それ自体が最適な線形推定量の推定量です。「通常の」推定量は間違った回帰線から導き出され、ジェームズ・スタインおよびエフロン・モリス推定量は右回帰線への近似から導き出されます。

そして今、重要な部分があります（強調が追加されました）：

が必要な理由もわかりますまたは場合、上の最小二乗線は点通過する必要があるため、または場合、 2つの回帰線（上のおよび上の）は、各一致する必要があります。$k\ge 3$$k=1$$2$$\theta$$X$$(X_i, \theta_i)$$k=1$$2$$X$$\theta$$\theta$$X$$X_i$

これにより、および特別な点が非常に明確になると思います。$k=1$$k=2$