バイアス分散方程式の数学的直観

私は最近、サンプルの平均と分散に関する基本方程式、幾何学的またはその他の背後にある数学的解釈/直感を求める質問をしました。 $E[X^2] = Var(X) +(E[X])^2$

しかし今、私は表面的に似ているバイアス分散のトレードオフ方程式に興味があります。

\begin{array}{rcl} MSE (\hat{θ}) = E [(\hat{θ} - θ)^{2}] & = & E [(\hat{θ} - E [\hat{θ}])^{2}] + (E [\hat{θ}] - θ)^{2} \\ = & Var (\hat{θ}) + Bias (\hat{θ}, θ)^{2} \end{array}

$\begin{eqnarray} \text{MSE}(\hat{\theta}) = E [(\hat{\theta}-\theta)^2 ] &=& E[(\hat{\theta} - E[\hat\theta])^2] + (E[\hat\theta] - \theta)^2\\ &=& \text{Var}(\hat\theta) + \text{Bias}(\hat\theta,\theta)^2 \\ \end{eqnarray}$ （Wikipediaの式）

私には、回帰のバイアス分散のトレードオフ方程式と表面的な類似性があります。3つの項が2乗で、2つが他の項に加算されます。非常にピタゴラスを探しています。これらすべてのアイテムの直交性を含む同様のベクトル関係はありますか？または適用される他のいくつかの関連する数学的解釈はありますか？

私は光を放つかもしれない他のいくつかの数学的オブジェクトとの数学的アナロジーを求めています。ここで十分にカバーされている精度と精度の類似性は探していません。しかし、バイアス分散のトレードオフとより基本的な平均分散の関係の間に人々が与えることができる非技術的なアナロジーがある場合、それも素晴らしいでしょう。

variance bias

— ミッチ
ソース

回答:

類似性は表面的な以上のものです。

「バイアス分散のトレードオフ」は、2つの垂直ユークリッドベクトルに適用されるピタゴラスの定理として解釈できます。一方の長さが標準偏差で、もう一方の長さがバイアスです。斜辺の長さは二乗平均平方根誤差です。

基本的な関係

出発点として、任意のランダム変数の有効なこの暴露の計算、検討する有限の二次モーメントと任意の実数で。二次モーメントは有限であるため、には有限平均があり、そのは、 $X$ $a$ $X$ $\mu=\mathbb{E}(X)$ $\mathbb{E}(X-\mu)=0$

\begin{matrix} (1) & \begin{aligned} E ((X - a)^{2}) & = E ((X - μ + μ - a)^{2}) \\ = E ((X - μ)^{2}) + 2 E (X - μ) (μ - a) + (μ - a)^{2} \\ = Var (X) + (μ - a)^{2} . \end{aligned} \end{matrix}

$\eqalign{ \mathbb{E}((X-a)^2) &= \mathbb{E}((X-\mu\,+\,\mu-a)^2) \\ &= \mathbb{E}((X-\mu)^2) + 2 \mathbb{E}(X-\mu)(\mu-a) + (\mu-a)^2 \\ &= \operatorname{Var}(X) + (\mu-a)^2.\tag{1} }$

この様子を示し間の平均二乗偏差と任意の「ベースライン」の値によって変化する：それはの二次関数であるで最小と平均二乗偏差の分散である、。 $X$ $a$ $a$ $a$ $\mu$ $X$

推定量とバイアスとの関係

推定量は確率変数です（定義により）。これは確率変数の（測定可能な）関数であるためです。上記での役割を果たし、推定値（が推定するもの）を、次のようになります。 $\hat \theta$ $X$ $\hat\theta$ $\theta$

MSE (\hat{θ}) = E ((\hat{θ} - θ)^{2}) = Var (\hat{θ}) + (E (\hat{θ}) - θ)^{2} .

$\operatorname{MSE}(\hat\theta) = \mathbb{E}((\hat\theta-\theta)^2) = \operatorname{Var}(\hat\theta) + (\mathbb{E}(\hat\theta)-\theta)^2.$

推定器のバイアス+分散に関するステートメントが文字通り場合であることがわかったので、戻りましょう。質問は「数学的対象との数学的類似」を求めています。二乗可積分確率変数を自然にユークリッド空間にすることができることを示すことで、それ以上のことができます。 $(1)$ $(1)$

数学的背景

非常に一般的な意味で、確率変数は確率空間上の（測定可能な）実数値関数です。しばしば書かれている正方形積分であるような関数の集合（所与の確率構造を理解して）、ほとんどであるヒルベルト空間。それを1つにするには、積分の点で実際に異ならない2つのランダム変数とを融合する必要があります。つまり、とは常に同等であると言います。 $(\Omega, \mathfrak{S}, \mathbb{P})$ $\mathcal{L}^2(\Omega)$ $X$ $Y$ $X$ $Y$

E (| X - Y |^{2}) = \int_{Ω} | X (ω) - Y (ω) |^{2} d P (ω) = 0.

$\mathbb{E}(|X-Y|^2) = \int_\Omega |X(\omega)-Y(\omega)|^2 d\mathbb{P}(\omega) = 0.$

ときに最も重要なのは、：これが本当の同値関係であることを確認するために簡単です同等です及びと等価であるは、必ずしも同じになります。したがって、すべての二乗可積分確率変数を等価クラスに分割できます。これらのクラスは、セットます。さらに、は、値の点ごとの加算と点ごとのスカラー乗算によって定義されるのベクトル空間構造を継承します。このベクトル空間では、関数 $X$ $Y$ $Y$ $Z$ $X$ $Z$ $L^2(\Omega)$ $L^2$ $\mathcal{L}^2$

X \to {(\int_{Ω} | X (ω) |^{2} d P (ω))}^{1 / 2} = \sqrt{E (| X |^{2})}

$X \to \left(\int_\Omega |X(\omega)|^2 d\mathbb{P}(\omega)\right)^{1/2}=\sqrt{\mathbb{E}(|X|^2)}$

は規範であり、とよく記述されます。この基準により、はヒルベルト空間になります。 ヒルベルト空間を「無限次元ユークリッド空間」と考えてください。任意の有限次元部分空間から当たり前継承と、この規範で、ユークリッド空間であり、：私たちはそれにユークリッド幾何学を行うことができます。 $||X||_2$ $L^2(\Omega)$ $\mathcal{H}$ $V\subset \mathcal{H}$ $\mathcal{H}$ $V$

最後に、我々は、確率空間（というより一般的な尺度空間）に特別な1つのファクトが必要ですので、確率で、それが（によって囲まれている）、そこから一定の機能（いずれかの固定実数）は、有限のノルムを持つ平方可積分確率変数です。 $\mathbb{P}$ $1$ $\omega\to a$ $a$

幾何学的解釈

同値類の代表として考えられている、任意の平方可積分確率変数を考えます。これには平均あり、これは（確認できるように）等価クラスにのみ依存します。ましょう定数確率変数のクラスです。 $X$ $L^2(\Omega)$ $\mu=\mathbb{E}(X)$ $X$ $\mathbf{1}:\omega\to 1$

$X$ とは、次元が最大ユークリッド部分空間を生成します。この部分空間において、の二乗長さと IS定数確率変数の2乗の長さ。 その基本となるに対して垂直である。（ 1つの定義は、これが当てはまる一意の番号であるということです。）関係は $\mathbf{1}$ $V\subset L^2(\Omega)$ $2$ $||X||_2^2 = \mathbb{E}(X^2)$ $X$ $||a\,\mathbf{1}||_2^2 = a^2$ $\omega\to a$ $X-\mu\mathbf{1}$ $\mathbf{1}$ $\mu$ $(1)$

| | X - a 1 | |_{2}^{2} = | | X - μ 1 | |_{2}^{2} + | | (a - μ) 1 | |_{2}^{2} .

$||X - a\mathbf{1}||_2^2 = ||X - \mu\mathbf{1}||_2^2 + ||(a-\mu)\mathbf{1}||_2^2.$

それは確かに、2500年前に知られている本質的に同じ形式のピタゴラスの定理です。オブジェクトは、脚がの直角三角形の斜辺ですおよび。

X - a 1 = (X - μ 1) - (a - μ) 1

$X-a\mathbf{1} = (X-\mu\mathbf{1})-(a-\mu)\mathbf{1}$

X - μ 1

$X-\mu\mathbf{1}$

(a - μ) 1

$(a-\mu)\mathbf{1}$

数学的なアナロジーが必要な場合は、ユークリッド空間の直角三角形の斜辺で表現できるものなら何でも使用できます。斜辺は「誤差」を表し、脚はバイアスと平均からの偏差を表します。

— whuber
ソース

優秀な。したがって、推論は前の質問reとほぼ同じです。それで、それらの間には類似点がありますよね？バイアスは意味に似ていると直感的に思われます。そして、一般化とは、平均は0に関する最初のモーメントですが、バイアスはパラメーターの真の値に関するものです。いいですか？

V a r = E X^{2} - (E X)^{2}

$Var = EX^2 - (EX)^2$

— ミッチ

はい。ただし、これらのことを測定する正しい方法は二乗であるという但し書き（幾何学的解釈によって追加された洞察）を使用します。

— whuber

whuber、私は関連する質問があります。どの機械学習でも、「サンプルサイズを増やすと、漸近的に不偏な推定量の分散はゼロになります」と「モデルの複雑さを増やすと、バイアスが低くなり、分散が高くなる」という2つの概念があります。。したがって、計算能力が高ければ高いほど、複雑さが増し、バイアスは減少しますが、分散は増加すると言えます。ただし、漸近的では、この分散の増加は相殺されます。

— ARAT、

@Mustafaあなたはいくつかの強い仮定をします。1つ目は、サンプルがランダムで（少なくともほぼ）独立していることです。これは、MLアプリケーションではそうではありません。「複雑さの増加」はモデルを変更することを意味し、推定量が推定しているものの意味と推定量が推定量にどのように関連している可能性があるかを疑問視するため、モデルの複雑度の増加に関する結論は一般に正しくありません。。モデルの複雑さが増しても、バイアスや分散に一般的に予測可能な影響があるとは限りません。

— whuber

これは、精度と分散バイアスのトレードオフについて視覚的に考える方法です。ターゲットを見ていて、バイアスがかからないようにターゲットの中心近くに散らばっている多くのショットを撮るとします。次に、精度は分散によってのみ決定され、分散が小さい場合、シューターは正確です。

精度が高いがバイアスが大きい場合を考えてみましょう。この場合、ショットは中心から遠い点の周りに散らばっています。何かがエイムポイントをめちゃくちゃにしていますが、このエイムポイントの周囲では、すべてのショットがその新しいエイムポイントに近くなっています。シューターは正確ですが、偏見のために非常に不正確です。

小さなバイアスと高精度のためにショットが正確である他の状況があります。私たちが望むのは、バイアスがなく、分散が小さいか、バイアスが小さい分散が小さいことです。一部の統計的な問題では、両方を使用することはできません。したがって、MSEは、使用したい精度の尺度となり、分散バイアスのトレードオフを果たし、MSEを最小化することが目標になるはずです。

— マイケル・R・チェニック
ソース

バイアスの分散と精度と精度の類似性に関する優れた直感的な説明。ピタゴラスの定理のような数学的な解釈も探しています。

— ミッチ

幾何学的な解釈を論じた別の記事で取り上げられていたので、私はそれに焦点を当てませんでした。私はあなたのためのリンクを見つけます。

— マイケルR.シェニック

@ミッチ「バイアス分散のトレードオフ」を検索すると、CVサイトで134件のヒットがありました。私はまだピタゴラスの定理を見つけていませんが、これは本当に良いもので、この投稿で話し合った目標の写真があります。「バイアス分散のトレードオフの直感的な説明」。

— Michael R. Chernick

私は私が探していた1 1月5日から2017年「ヴァール（X）= Eの（幾何学的または他の）直観[見つかった（ - ]）。

X^{2}

$X^2$

E [X])^{2}

$E[X])^2$

— マイケル・R. Chernick

@ミッチ私が探していた質問を投稿したことに気づかなかった。

— Michael R.Chernick