UMVUEの存在との推定量の選択にで人口

してみましょうから引き出されたランダムサンプルで人口。 $(X_1,X_2,\cdots,X_n)$ $\mathcal N(\theta,\theta^2)$ $\theta\in\mathbb R$

のUMVUEを探しています。 $\theta$

結合密度は $(X_1,X_2,\cdots,X_n)$

\begin{aligned} f_{θ} (x_{1}, x_{2}, \dots, x_{n}) & = \prod_{i = 1}^{n} \frac{1}{θ \sqrt{2 π}} \exp [- \frac{1}{2 θ^{2}} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [- \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [\frac{1}{θ} \sum_{i = 1}^{n} x_{i} - \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} x_{i}^{2} - \frac{n}{2}] \\ = g (θ, T (x)) h (x) \forall (x_{1}, \dots, x_{n}) \in R^{n}, \forall θ \in R \end{aligned}

$\begin{align} f_{\theta}(x_1,x_2,\cdots,x_n)&=\prod_{i=1}^n\frac{1}{\theta\sqrt{2\pi}}\exp\left[-\frac{1}{2\theta^2}(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right] \\&=g(\theta,T(\mathbf x))h(\mathbf x)\qquad\forall\,(x_1,\cdots,x_n)\in\mathbb R^n\,,\forall\,\theta\in\mathbb R \end{align}$

、ここでおよび。 $g(\theta, T(\mathbf x))=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right]$ $h(\mathbf x)=1$

ここで、はおよびからそしては独立しています。したがって、フィッシャーナイマン分解定理により、2次元統計は、。 $g$ $\theta$ $x_1,\cdots,x_n$ $T(\mathbf x)=\left(\sum_{i=1}^nx_i,\sum_{i=1}^nx_i^2\right)$ $h$ $\theta$ $T(\mathbf X)=\left(\sum_{i=1}^nX_i,\sum_{i=1}^nX_i^2\right)$ $\theta$

ただし、は完全な統計ではありません。これは、 $T$

E_{θ} [2 {(\sum_{i = 1}^{n} X_{i})}^{2} - (n + 1) \sum_{i = 1}^{n} X_{i}^{2}] = 2 n (1 + n) θ^{2} - (n + 1) 2 n θ^{2} = 0 \forall θ

$E_{\theta}\left[2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2\right]=2n(1+n)\theta^2-(n+1)2n\theta^2=0\qquad\forall\,\theta$

そして、関数は完全にゼロではありません。 $g^*(T(\mathbf X))=2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2$

しかし、私はが最小の十分な統計であることを知っています。 $T$

確かではありませんが、この湾曲した指数関数ファミリーには完全な統計が存在しない可能性があると思います。それでは、UMVUEを取得するにはどうすればよいですか？完全な統計が存在しない場合、最小の十分な統計の関数である不偏推定量（この場合は）をUMVUEにすることができますか？（関連スレッド：不偏推定量がUMVUEになるために必要な条件は何ですか？） $\bar X$

の最良線形不偏推定量（BLUE）を検討するとどうなりますか？BLUEをUMVUEにすることはできますか？ $\theta$

線形不偏推定量 of whereを検討するとしますおよび。がわかっているからです。私の考えは、がなるように、を最小化することです。ですその後のUMVUEこと？ $T^*(\mathbf X)=a\bar X+(1-a)cS$ $\theta$ $c(n)=\sqrt{\frac{n-1}{2}}\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}$ $S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ $E_{\theta}(cS)=\theta$ $\text{Var}(T^*)$ $T^*$ $\theta$ $T^*$ $\theta$

私は、に基づいて線形不偏推定量をとっているととしてもするのに十分である。 $\bar X$ $S$ $(\bar X,S^2)$ $\theta$

編集：

確かに、が既知であるより一般的なファミリのの推定では、多くの作業が行われています。以下は、最も関連性の高い参照の一部です。 $\theta$ $\mathcal N(\theta,a\theta^2)$ $a>0$

Casella / Bergerによる統計推論から、この演習でこれらの参照の最初を見つけました。

私の質問はこの演習についてではありません。

最後のメモ（章の抜粋）では、最小限の十分な統計量が完了していないため、 $\theta$ のUMVUEは存在しないと述べています。完全な十分な統計量が見つからないという理由だけでUMVUE が存在しないと結論付けることができる理由を知りたいのですが？これに関連する結果はありますか？リンクされたスレッドに完全な十分な統計が存在しない場合でも、UMVUEの存在を確認します。

一様に最小の分散不偏推定量が存在しないと仮定すると、「最良の」推定量を選択するための次の基準は何ですか？最小MSE、最小分散、またはMLEを探しますか？または、基準の選択は、推定の目的に依存しますか？

たとえば、偏りのない推定量と別のバイアス推定量があるとします。（その分散）のMSE がのMSE より大きいと仮定します。MSEの最小化は、バイアスと分散を同時に最小化することを意味するので、は、バイアスがかけられていますが、よりも「より良い」推定器の選択であると思います。 $T_1$ $T_2$ $\theta$ $T_1$ $T_2$ $T_2$ $T_1$

の推定値のありそうな選択は、最後の注記の4ページからリストされています。 $\theta$

次の抜粋は、レーマン/カセラによる点推定理論（第2版、87-88ページ）からの抜粋です。

私はすべてを誤解している可能性が高いですが、最後の文は、特定の条件下では、UMVUEの存在には完全な統計の存在が必要であると言っていますか？もしそうなら、これは私が見ているべき結果ですか？

最後に右に述べられているRRバハドゥルによるその最後の結果はこのノートに言及しています。

さらに検索したところ、最小の十分な統計が完全でない場合、完全な統計は存在しないという結果が見つかりました。したがって、少なくともここに完全な統計は存在しないと私は確信しています。

私が考慮し忘れたもう1つの結果は、不偏推定量がUMVUEになるための必要かつ十分な条件は、ゼロのすべての不偏推定量と無相関でなければならないということです。この定理を使用して、UMVUEがここに存在しないこと、およびなどの不偏推定量がUMVUEではないことを示しました。しかし、これは、最終的な図でここに示した例のように簡単には機能しません。 $\bar X$

— 頑固な原子
ソース

更新：

推定量について考えます。ここで、は投稿で指定されています。これは不偏推定量であり、以下に示す推定量と明らかに相関します（値に対して）。

\hat{0} = \bar{X} - c S

$\hat 0 = \bar{X} - cS$

c

$c$

0

$0$

a

$a$

C＆Bの定理6.2.25は、にオープンセットが含まれている限り、指数ファミリの完全で十分な統計を見つける方法を示しています。残念ながらこの分布は、およびを生成しますこれは、でオープンセットを形成しません（）統計がに対して完全でないのはこのためであり、不偏推定量を作成できるのも同じ理由ですそれはの不偏推定量と相関します

{(w_{1} (θ), \dots w_{k} (θ)}

$\{(w_1(\theta), \cdots w_k(\theta)\}$

R^{k}

$\mathbb R^k$

w_{1} (θ) = θ^{- 2}

$w_1(\theta) = \theta^{-2}$

w_{2} (θ) = θ^{- 1}

$w_2(\theta) = \theta^{-1}$

R^{2}

$R^2$

w_{1} (θ) = w_{2} (θ)^{2}

$w_1(\theta) = w_2(\theta)^2$

(\bar{X}, S^{2})

$(\bar{X}, S^2)$

θ

$\theta$

0

$0$

θ

$\theta$ 十分な統計に基づく

別のアップデート：

ここから、議論は建設的です。これは、少なくとも1つのに対してとなるような別の不偏推定量が存在する場合にます。 $\tilde\theta$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta \in \Theta$

証明：、および（いくつかの値の場合あると仮定します。新しい推定量を検討しますこの推定量は、分散レッツ。 $E(\hat\theta) = \theta$ $E(\hat 0) = 0$ $Cov(\hat\theta, \hat 0) < 0$ $\theta$

\tilde{θ} = \hat{θ} + b \hat{0}

$\tilde\theta = \hat\theta + b\hat0$

V a r (\tilde{θ}) = V a r (\hat{θ}) + b^{2} V a r (\hat{0}) + 2 b C o v (\hat{θ}, \hat{0})

$Var(\tilde\theta) = Var(\hat\theta) + b^2Var(\hat0) + 2bCov(\hat\theta,\hat0)$

M (θ) = \frac{- 2 C o v (\hat{θ}, \hat{0})}{V a r (\hat{0})}

$M(\theta) = \frac{-2Cov(\hat\theta, \hat0)}{Var(\hat0)}$

前提として、ようなが存在している必要があります。を選択すると、 atます。したがって、をUMVUEにすることはできません。 $\theta_0$ $M(\theta_0) > 0$ $b \in (0, M(\theta_0))$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta_0$ $\hat\theta$ $\quad \square$

要約すると、がと相関している（任意の）という、少なくとも1つの点についてよりも優れた新しい推定量を作成できることを意味し、以下の均一性に違反します。は最高の公平性を主張します。 $\hat\theta$ $\hat0$ $a$ $\hat\theta$ $\theta_0$ $\hat\theta$

線形結合の考えをより詳しく見てみましょう。

\hat{θ} = a \bar{X} + (1 - a) c S

$\hat\theta = a \bar X + (1-a)cS$

ご指摘のとおり、は十分（ただし完全ではない）統計に基づいているため、妥当な推定量です。明らかに、この推定量は不偏なので、MSEを計算するには、分散を計算するだけで済みます。 $\hat\theta$

\begin{aligned} M S E (\hat{θ}) & = a^{2} V a r (\bar{X}) + (1 - a)^{2} c^{2} V a r (S) \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [E (S^{2}) - E (S)^{2}] \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [θ^{2} - θ^{2} / c^{2}] \\ = θ^{2} [\frac{a^{2}}{n} + (1 - a)^{2} (c^{2} - 1)] \end{aligned}

$\begin{align*} MSE(\hat\theta) &= a^2 Var(\bar{X}) + (1-a)^2 c^2 Var(S) \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[E(S^2) - E(S)^2\right] \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[\theta^2 - \theta^2/c^2\right] \\ &= \theta^2\left[\frac{a^2}{n} + (1-a)^2(c^2 - 1)\right] \end{align*}$

微分することにより、特定のサンプルサイズに対する「最適な」を見つけることができます。 $a$ $n$

a_{o p t} (n) = \frac{c^{2} - 1}{1 / n + c^{2} - 1}

$a_{opt}(n) = \frac{c^2 - 1}{1/n + c^2 - 1}$ ここで、

c^{2} = \frac{n - 1}{2} {(\frac{Γ ((n - 1) / 2)}{Γ (n / 2)})}^{2}

$c^2 = \frac{n-1}{2}\left(\frac{\Gamma((n-1)/2)}{\Gamma(n/2)}\right)^2$

この最適な選択のプロット以下のとおりです。 $a$

、（Wolframalphaで確認）があることに注意してください。 $n\rightarrow \infty$ $a_{opt}\rightarrow \frac{1}{3}$

これがUMVUEである保証はありませんが、この推定量は、十分な統計のすべての不偏線形結合の最小分散推定量です。

— クルムジー
ソース

更新していただきありがとうございます。私はC＆Bを教科書として使用せず、練習だけを見ました。

— StubbornAtom 2018

@StubbornAtomをUMVUEにできない理由を示す証明を追加しました（C＆Bページ344から大量に借用）。これを参考にしてください。

\hat{θ}

$\hat\theta$

— knrumsey 2018