*統計学習入門*の*関数*の分散とはどういう意味ですか？

11

pg。統計学習入門の 34 ： $\newcommand{\Var}{{\rm Var}}$

数学的な証明は本書の範囲を超えているものの、期待されるテストMSEは、与えられた値のためにあることを示すことが可能である：、常に3つの基本的な量の和に分解することができる分散の、二乗バイアスのと誤差項の分散。あれは、 $x_0$ $\hat{f}(x_0)$ $\hat{f}(x_0)$ $\varepsilon$

$E {(y_{0} - \hat{f} (x_{0}))}^{2} = V a r (\hat{f} (x_{0})) + [B i a s (\hat{f} (x_{0}))]^{2} + V a r (ε)$ $E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$
[...]分散は、それによって量を意味する、我々は異なるトレーニングデータセットを使用して、それを推定した場合に変更します。 $\hat{f}$

質問：ので、の分散表しているようだ機能を、何が正式にこれが意味するのでしょうか？ $\Var\big(\hat{f}(x_0)\big)$

つまり、私は確率変数分散の概念に精通していますが、関数のセットの分散はどうですか？これは、値が関数の形式を取る別の確率変数の分散と考えることができますか？ $X$

machine-learning variance

— ジョージ
ソース

6

\hat{f}

$\hat f$

x_{0}

$x_0$

\hat{f} (x_{0})

$\hat{f}(x_0)$

\hat{f}

$\hat{f}$

2

\hat{f}

$\hat{f}$

\hat{f} (x_{0})

$\hat{f}(x_0)$

この教科書の著者は誰ですか。私はこの件について自分で学びたいと思っていましたが、参考にしていただければ幸いです。

— Chill2Macht

3

@WilliamKrinsmanこれは本です：www-bcf.usc.edu/~gareth/ISL

— Matthew Drury

13

@whuberとの対応は正しいです。

$\mathcal{A}$

A : T \to {f ∣ f : X \to R}

$\mathcal{A} : \mathcal{T} \rightarrow \{f \mid f: X \rightarrow \mathbb{R} \}$

$\mathcal{T}$ $f$ $x$

$x_0$

A_{x_{0}} (T) = A (T) (x_{0})

$\mathcal{A}_{x_0}(T) = \mathcal{A}(T)(x_0)$

$T$ $x_0$

— マシュードゥルーリー
ソース

5

繰り返しkfoldsを使用した視覚的解釈

@Matthew Druryの答えを視覚的/直感的に解釈するには、次のおもちゃの例を考えてみてください。

$f(x) \ +$
データはトレーニングサンプルとテストサンプルに分割されます（75％-25％）
$\hat f(x)$
プロセスは同じデータを使用して何度も繰り返されます（つまり、分割トレーニング-Sklearmの繰り返しkfoldを使用してランダムにテストします）
$x=x_i$

2次と6次の多項式モデルの結果のグラフについては、以下を参照してください。一見すると、多項式（赤）が高いほど分散が大きいようです。

赤いグラフの分散が大きいと主張-実験的に

$\hat f_g$ $\hat f_r$ $\hat f^{(i)}$ $n$ $x$ $m$ $n = 400$ $m = 200$

主なシナリオは3つあります

$x = x_0$ $Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
$(1)$ $\{ x_1,...,x_{400} \}$ $(0,1)$
分散は平均で大きくなります（つまり、一部のポイントでは小さくなる場合があります）。

$(0,1)$

オープンエンドの結論

上記の3つのシナリオがすべて当てはまるわけではない場合に議論すべきことは何ですか。たとえば、赤の予測の分散が平均では大きいが、すべてのポイントではない場合はどうでしょうか。

ラベルの詳細

ポイント考慮 $x_0 = 0.5$

$\hat f(x_0)$
$x_0$
$f(x)$

— ザビエルブレットシコット
ソース

x = 0.95,

$x=0.95,$

x

$x$

x

$x$

はい、同意します

— Xavier Bourret Sicotte 2018