残留標準誤差とは何ですか？

Rで重回帰モデルを実行する場合、出力の1つは自由度95,161で0.0589の残留標準誤差です。95,161の自由度は、サンプルの観測数とモデルの変数の数の差によって与えられることを知っています。残留標準誤差とは何ですか？

近似回帰モデルは、パラメータを使用してポイント推定予測を生成します。これは、同じ値を使用してスタディを無限回数複製する場合（および線形モデルがtrueの場合）、観測応答の平均です。これらの予測値とモデルの近似に使用される予測値との差は「残差」と呼ばれ、データ収集プロセスを複製するときに、平均が0のランダム変数のプロパティを持ちます。$X$

その後、観測された残差を使用して、これらの値の変動性を推定し、パラメーターのサンプリング分布を推定します。残差標準誤差が正確に0の場合、モデルはデータに完全に適合します（過剰適合の可能性が高いため）。残留標準誤差が無条件応答の変動性と大きく異なることを示すことができない場合、線形モデルに予測能力があることを示唆する証拠はほとんどありません。

次のANOVAテーブル（Rのexample(aov)コマンドから適応）があるとします。

          Df Sum Sq Mean Sq F value Pr(>F)
Model      1   37.0   37.00   0.483  0.525
Residuals  4  306.3   76.57               

任意の変動源（モデルまたは残差）の平方和をそれぞれの自由度で除算すると、平均平方が得られます。特に残差について：

したがって、76.57は残差の平均二乗、つまり応答変数の残差（モデルを適用した後）の変化量です。

残留標準誤差について、あなたは求めてきましたが以外の何ものでもありません平均二乗誤差の正の平方根。私の例では、残留標準誤差はに等しくなります$\sqrt{76.57}$

$\beta_{0}$$\beta_{1}$$\epsilon$$\epsilon$

RSEについては、「統計学習の概要」でかなり明確に説明されています。