バイアス分散分解：予測二乗予測誤差の項で、既約誤差が少ない

ハスティら "統計的学習の要素"（2009）データ生成処理考えるとと。

Y = f (X) + ε

$Y = f(X) + \varepsilon$

E (ε) = 0

$\mathbb{E}(\varepsilon)=0$

Var (ε) = σ_{ε}^{2}

$\text{Var}(\varepsilon)=\sigma^2_{\varepsilon}$

それらは、点での予想二乗予測誤差の次のバイアス分散分解を示します（p。223、式7.9）： $x_0$ 私自身の仕事で、私は指定されていないが、任意の予測取る（これが関連している場合）の代わりに。質問： 、より正確には用語を探してい

\begin{aligned} Err (x_{0}) & = E ([y - \hat{f} (x_{0})]^{2} | X = x_{0}) \\ = \dots \\ = σ_{ε}^{2} + {Bias}^{2} (\hat{f} (x_{0})) + Var (\hat{f} (x_{0})) \\ = Irreducible error + {Bias}^{2} + Variance . \end{aligned}

$\begin{aligned} \text{Err}(x_0) &= \mathbb{E}\left( [ y - \hat f(x_0) ]^2 | X = x_0 \right) \\ &= \dots \\ &= \sigma^2_{\varepsilon} + \text{Bias}^2(\hat f(x_0)) + \text{Var}(\hat f(x_0)) \\ &= \text{Irreducible error} + \text{Bias}^2 + \text{Variance} .\\ \end{aligned}$

\hat{f} (\cdot)

$\hat f(\cdot)$

\hat{y}

$\hat y$

{Bias}^{2} + Variance

$\text{Bias}^2 + \text{Variance}$

Err (x_{0}) - Irreducible error .

$\text{Err}(x_0) - \text{Irreducible error}.$

— リチャードハーディ
ソース

ここでの質問は何ですか？

— Michael R. Chernick 2017

@sntx、アイデアをありがとう。しかし、どういうわけか正しく聞こえません。おそらくモデリングエラー（つまり、モデルの仕様の不正確さとモデルの不正確な推定によるエラー）ですが、予測生成モデル（たとえば、専門家の予測）がない場合は意味がありません。

— Richard Hardy

@DeltaIV、それはかなり良いです。しかし、私はその用語は有料だと思います。予報が悪いようで、私たちはもっとうまくやれるかもしれません。しかし、与えられたデータに対して最善を尽くしたとします。そのため、たまたま正しいモデル（「モデルバイアス」なし）を選択しましたが、サンプルが小さすぎて係数を完全に推定できません。したがって、推定分散（「モデル分散」）は、指定されたサンプルサイズでは実際には還元できません。「還元誤差」という用語は、そうではないことを示唆しています。より良い用語を考え出すことができると確信しているわけではありませんが、私はそれについて努力したいと思います。

— Richard Hardy

@ DeltaIV、OK、私は今、それが還元可能であるという直感を得ました。それでも、これ以上説明せずにこの用語を使用すると、誤解を招く可能性があります（私に説明する必要があったのと同じです）。あなたの後者の提案は正確です、それは本当に素晴らしいですが、あなたが言ったように、それはかなり複雑です。

— Richard Hardy

@DeltaIV、私はそのように聞こえるつもりはありませんでした。これは個人的なことではありません。私の（うまくいけば説得力のある）議論はコメントの中で上にあります。しかし、私と話し合ってくれてありがとう、それは役に立ちます。

— リチャードハーディ

回答:

削減可能なエラーを提案します。また、これは段落で採用する用語であるの2.1.1 ギャレス、ウィッテン、Hastie＆Tibshirani、統計的学習への入門、基本的に彼らが使用するという事実を除いて、ESL +いくつかの非常にクールなRコード研究所の簡素化（あるブックattach、しかし、ねえ、誰も完璧ではありません）。この用語の長所と短所の理由を以下に示します。

$\epsilon$ $X$ $\epsilon$ $X$ $\mathcal{H}$ $\sigma^2_{\epsilon}$

$\text{Err}(x_0)-\sigma^2_{\epsilon}$

f (x) = E [Y | X = x]

$f(x)=\mathbb{E}[Y\vert X=x]$

$\mathbb{E}[Y\vert X=x]\in \mathcal{H}$ $\mathbb{E}[Y\vert X=x]\notin \mathcal{H}$ $\hat{f}(x)$ 私たちのモデルの家族で。

$\mathcal{H}$ $\mathbb{E}[Y\vert X=x]$ $\sigma^2_{\epsilon}$ $\mathcal{H}$ $\epsilon\perp X$

— DeltaIV
ソース

ノイズが既約エラーである場合、それは既約ではありません。どういうわけかこれをやる気にさせる必要があります、私は自分でそれをすることはできません。

— カール

2.1.1の例は、「血中の薬物の分析」です。以下に示す最初の例は、まさにそれです。このアッセイでは、いわゆる測定の既約誤差はそのようなものではありません。これは、通常10000以上のイベントをカウントすることで減少するノイズのカウント、ほぼ指数関数的に分布するピペッティングエラー、およびその他の技術的エラーで構成されます。これらの「還元不可能な」エラーをさらに減らすために、時間サンプルごとに3つのカウンティングチューブの中央値を使用することをお勧めします。既約という用語は悪い専門用語です。もう一度やり直してください。

— カール

@Delta、回答ありがとうございます。ワンライナーの「削減可能なエラー」はあまり説得力がなかったかもしれませんが、コンテキストと議論を考えると、それはかなり良く見えます！

— リチャードハーディ

n

$n$

n

$n$

@DeltaV還元性は疑わしい仮定であると私は信じています。以下を参照してください。

— カール

$1-R^2$ $y$ $n$ $n$

「還元可能性」という用語が気に入らないのはなぜですか？これは、還元可能性の公理のように自己参照トートロジーをたたく。私は同意するラッセル1919ことを、私はそれがすべての可能世界で真であることを言うことによって意味されるものである還元性の公理が論理的に必要であると信じる理由が、表示されません」。のシステムにこの公理の入場したがって、論理は欠陥であり、疑わしい仮定です。」

$n=36$

注目すべきは、最初のサンプルを5分で落とすと、初期のサンプルを60分まで落とし続けるのと同じように、物理が順次改善することです。これは、GVが最終的には薬物の血漿濃度の優れたモデルを形成するものの、他の何かが初期に起こっていることを示しています。

$1\%$

$y$

— カール
ソース

確かに、これは上記の分解についてです。しかし、あなたの答えは実際の質問を扱っていないので、コメントとして役立つでしょう。それとも？

— リチャードハーディ

{Bias}^{2} + Variance

$\text{Bias}^2+\text{Variance}$

もう一度、あなたは別の質問に答えています。間違った質問に対する正しい答えは、残念ながら間違った答えです（自己への注記：偶然にも、私は昨日、これを学部生に説明していました）。この表現がどれほど意味があるか（ESLの教科書を読んだり、応用機械学習で働いたりした人にとって意味がある）については尋ねていません。適切な用語を求めています。質問は肯定的であり、規範的ではありません。そして、それはかなりシンプルで非常に具体的です。

— リチャードハーディ

@RichardHardy物理学がなければ、質問を理解するのは困難でした。私の答えを変更しました。上記の誤登録をご覧ください。

— カール

プロセスを推定するためにそれを行うことができます。そうです。これは、削減可能なエラーの部分です。しかし、コインフリップを含む具体的なイベントを予測する場合、コインフリップの結果の誤予測に関連するエラーを減らす方法はありません。これが既約エラーです。興味深い：純粋に決定論的な世界では、定義によって還元不可能なエラーはないので、世界の見方が完全に決定論的である場合、私はあなたの意味を理解するかもしれません。しかし、世界は「統計的学習の要素」と統計全般において確率論的です。

— リチャードハーディ