分散とバイアスの2乗へのMSE分解

MSEを分散とバイアスの平方に分解できることを示すために、Wikipediaの証明には図で強調されているステップがあります。これはどのように作動しますか？第3段階から第4段階まで製品に期待はどのように押し込まれますか？2つの用語が独立している場合、両方の用語に期待を適用すべきではありませんか？そうでない場合、この手順は有効ですか？ここに画像の説明を入力してください

random-variable expected-value mse

— statBeginner
ソース

回答:

トリックは、ということである一定です。 $\mathbb{E}(\hat{\theta}) - \theta$

— AdamO
ソース

ああなるほど。ここで唯一不明なのは推定器です。右？

— statBeginner 14年

はい。期待の手段をとることは推定器は、作るものだと、推定だし何でも行くこと

を0に行く

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

— アダモ

申し訳ありませんが、その文は私にはあまり意味がありません。見積者が見積もっているものに行った場合、それは公平になりませんか？それは言うことによって説明できる

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

= 0？

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

— user1158559

@ user1158559中間の積項は、期待値0の定数倍です。シータハットにバイアスが

— かかっていて

変数ではなく定数です。また、トリックはあまり自明であり

と

定数がデフォルト値として0にならない（例えば、

）。実際には本当のトリック嘘その

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

ので、定数（積分から取り出すことができる）

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

— セクストス・エンペイリコス

アダムの答えはというトリックについての正しい一定です。ただし、最終結果を見つけるのに役立ち、ウィキペディアの記事の特定のステップに関する質問を明確に説明していません（編集：現在、ハイライトと 3行目から4行目までのステップについてあいまいでした）。 $E(\hat{\theta}) - \theta$

（質問は約あることに注意変数から異なり、定数アダムの答えでは、私は私のコメントで、この間違ったより明確にするための条件を拡大を書きました：。。変数が推定される、定数は、この推定の期待値であると真値） $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

秘1：1：検討する

変数 $x=\hat{\theta}$

定数 $a=\mathbb{E}\left[ \hat{\theta} \right]$

および定数 $b = \theta$

次に、について変数モーメントを表す変換規則を使用して、関係を簡単に記述できます。 $x$ $b$ 変数のモーメントの点でについて。 $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

秘2：2： 2番目の瞬間、上記の式は合計で3つの項を持ちます。我々は、そのうちの一つ（場合なくすことができ）ため、 $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

ここでは、何かを定数として引数を作成することもできます。すなわち、が定数であり、定数であるを使用となり、ます。 $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

$x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

ウィキペディアの記事では、それぞれ3行目と4行目にこれらの2つのトリックを使用しています。

3行目のネストされた期待値

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

is simplified by taking the constant part $(\mathbb{E}({\hat{\theta}})-\theta)$ outside of it (trick 1).
The term $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ is solved (as equal to zero) by using the fact that the variable $\hat{\theta} -\mathbb{E}(\hat{\theta})$ has mean zero (trick 2).

— Sextus Empiricus
ソース

$E(\hat{\theta}) - \theta$ is not a constant.

The comment of @user1158559 is actually the correct one:

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

— little_monster
ソース

I don't see what you are trying to show. Also the bias may not be zero but that does not mean that it isn't a constant.

— Michael R. Chernick

It is not a constant because

\hat{θ} = f (D)

$\hat{\theta} = f(D)$ where

D

$D$ is a given training data, which is also a random variable. Thus, its expectation is not a constant.

— little_monster

Also, the fact that it is not a constant or not cannot explain how step 4 is possible from step 3. On the other hand, the comment of @ user1158559 explains that.

— little_monster

@Michael, there has been confusion about the question. The highlighted part contains this expression

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$ , but in the text of the question it is mentioned that it is instead about the change from the third line to the fourth line, changing the nesting of expectations.

— Sextus Empiricus