Rao-Blackwellの定理に必要なのはなぜですか？

ラオブラックウェルの定理は

ましょうの推定であるとためのすべての。仮定するのに十分である、とletすべてに続いて、が関数でない限り、不等式は厳密です $\hat{\theta}$ $\theta$ $\Bbb E (\hat{\theta}^2) < \infty$ $\theta$ $T$ $\theta$ $\theta ^ * = \Bbb E (\hat{\theta}|T)$ $\theta$
$E (θ^{*} - θ)^{2} \leq E (\hat{θ} - θ)^{2}$ $\Bbb E (\theta^* - \theta )^2 \leq \Bbb E (\hat{\theta} - \theta )^2$ $\hat{\theta}$ $T$

この定理を正しく理解していれば、十分な統計量がある場合、が指定されたの条件付き期待値はの解であると述べています $T$ $\theta$ $\hat{\theta}$ $T$ $\min_{\hat{\theta}} \Bbb E$ $(\hat{\theta}-\theta)^2$

私の質問

$\theta^*$ 最小化することは正しいですか？ $\Bbb E$ $(\hat{\theta}-\theta)^2$
Rao-Blackwellの定理に必要なのはなぜ $\Bbb E(\hat{\theta}^2) < \infty$ ですか？
$\hat{\theta}$ が関数でない限り、なぜ不等式が厳密なの $T$ ですか？

rao-blackwell

— スタン・シュンパイク
ソース

ラオブラックウェルの定理

— 西安

を見つけるには何が必要ですか？

min_{\hat{θ}} E

$\min_{\hat{\theta}} \Bbb E$

(\hat{θ} - θ)^{2}

$(\hat{\theta}-\theta)^2$

— Stan Shunpike、2016

回答:

いいえ、はよりも優れた推定値ですが、必ずしも最高とは限りません（それが何であれ！） $\theta^*$ $\hat\theta$
推定量に差異がない場合、そのリスクは無限であり、が有限のリスクを持っているという保証はありません（これはHorstGrünbuschのコメントで指摘されているように発生する可能性があります）。 $\theta^*$
有限分散の下では、期待される条件付き分散と条件付き期待値の分散の合計である分散分解の分散分解のため、不等式は厳密です予想される条件分散がゼロでない限り、は関数のみになります。 $\hat\theta$ $var (\hat{θ}) = E_{T} [var (\hat{θ} | T)] + {var}_{T} (E [\hat{θ} | T]) = E_{T} [var (θ | T)] + {var}_{T} (θ^{*})$ $\text{var}(\hat\theta)=\mathbb{E}_T[\text{var}(\hat\theta|T)]+ \text{var}_T(\mathbb{E}[\hat\theta|T])=\mathbb{E}_T[\text{var}(\theta|T)]+\text{var}_T(\theta^*)$ $\hat\theta$ $T$

— 西安
ソース

ad 2：あることが不可能なのはなぜですか？推定量としてを考えます。ここで、、およびは無関係なコーシー分布rvです。

E ({\hat{θ}}^{2} | T) < E ({\hat{θ}}^{2}) = \infty

$E(\hat{\theta}^2|T)<E(\hat{\theta}^2)=\infty$

\hat{θ} = X + C

$\hat{\theta} = X + C$

μ

$\mu$

X \sim N (μ, σ^{2})

$X \sim \mathcal{N}(\mu,\sigma^2)$

C

$C$

— HorstGrünbusch2016

上のとき条件HorstGrünbuschなぜ@コーシー片が離れて行くだろう？また、は不偏推定量ではありません。

T

$T$

\hat{θ}

$\hat{\theta}$

— dsaxton 2016

@HorstGrünbuschは条件付き期待値がない（は期待値がないため）ようです。したがって、は未定義です。

\hat{θ}

$\hat{\theta}$

∣ T

$\mid T$

C

$C$

θ^{*}

$\theta^\ast$

— Juho Kokkala 2016

OK、私が欲しかったのは、期待なしではなく、分散のないだけでした。;）ここで、、つまり、2自由度のスチューデントt分布とおよびが独立しているとます。十分な統計は明らかにです。次に、ですが、

C

$C$

C \sim t_{2}

$C \sim t_2$

E (C) = 0

$E(C)=0$

C

$C$

X

$X$

X

$X$

E (X + C | X) = E (X | X) + E (C | X) = X + E (C) = X

$E(X+C|X) = E(X|X) + E(C|X) = X + E(C) = X$

\infty = V a r (C) + V a r (X) = V a r (X + C) > V a r (X + C | X) = σ^{2}

$\infty=Var(C) + Var(X) = Var(X+C)>Var(X+C|X)=\sigma^2$

— HorstGrünbusch

したがって、元の推定量が無限の分散を持っている場合、Rao-Blackwell推定量が必ずしも無限の分散をもつことは間違っていると思います。（ただし、両方の分散が必ずしも無限である場合でも、はまだ保持されます。）

\infty \leq \infty

$\infty \leq \infty$

— HorstGrünbusch16年

十分な統計であることは一意ではないことに注意してください。当然のことながら、データ全体で十分ですが、それらに対して推定器を調整しても何も変わりません。したがって、平均二乗誤差を最小限にするには、統計だけでは十分ではありません。十分な十分性（実際には十分かつ完全である）については、証明にRao-Blackwell-theoremを使用するLehmann-Scheffé-theoremを参照してください。
両方が無限である場合、弱い不等式は常に真です。ただし、反例として、関数ではないが（のみが保持されるように）無限の分散をもつ十分な統計量を作成できます。 $T$ $\leq$

たとえば、、およびシフトされた分布確率変数を、別の独立確率変数ます。推定するパラメーターはです。元の推定量はです。十分な統計はもちろんです。Rao-Blackwell推定量とはどちらも無限分散を持っています。したがって、不平等は弱く保たれるでしょう。一方、は単なる関数ではありません $C_1 \sim t_2 + \mu$ $t_2$ $E(C_1) = \mu$ $Var(C_1) = \infty$ $C_2 \sim t_2$ $\mu$ $\hat{\theta} = C_1 + C_2$ $C_1$ $E(\hat{\theta}|C_1)=C_1$ $\hat{\theta}$ $C_1+C_2$ $C_1$ ：他の確率変数が含まれているため、3番目の質問をした最後の文と矛盾します。実際、一部の教科書では、元の推定量に対して無限の分散が認められていますが、が成立する場合はその旨を明記することはできません。 $<$

場合はの関数である、あなたは因数分解定理ことによって証明することができますすでにのために十分である。したがって、再び何も改善しないことになります。この場合を除いて、不等式は厳格であり、それは定理の自明ではない主張です。 $\hat{\theta}$ $T$ $\hat{\theta}$ $\theta$

— ホルスト・グルンブッシュ
ソース