単純な線形回帰のANOVA F検定の背後にあるロジック

単純線形回帰分析のANOVA F検定の背後にあるロジックを理解しようとしています。私が持っている質問は次のようなものです。F値、つまりMSR/MSE大きい場合、 モデルは有意であると受け入れます。この背後にあるロジックは何ですか？

最も単純な場合、予測子が1つしかない場合（単純な回帰）、たとえば場合、検定は、を含めると、観測された分散の大部分がNULLモデル（切片のみ）に比べて説明できるかどうかを示します。次に、追加の説明された分散（合計分散、TSS、マイナス残差、RSS）が「有意な量」と見なされるのに十分かどうかをテストします。ここでは、1つの予測変数または説明変数を持つモデルを、単に「ノイズ」であるベースラインと比較しています（総平均以外は何もありません）。 F X 1$X_1$$F$$X_1$$Y$

同様に、重回帰設定で統計量を計算できます。この場合、モデルに含まれるすべての予測変数のテストになります。これは、HTフレームワークの下では、応答の予測にそれらのいずれかが役立つかどうかを疑問視することを意味します変数。これが、各回帰係数に関連付けられたまたはテストの一部が重要ではないのに、モデル全体のテストが重要である状況に遭遇する理由です。F t $F$$F$$t$$z$

のような統計ルックス$F$

ここで、はモデルパラメーターの数、は観測値の数です。この数量は、クリティカルまたは値の分布を参照する必要があります。単純な回帰モデルにも適用され、従来のANOVAフレームワークと明らかに類似しています。n F p − 1 、n − p$p$$n$$F_{p-1,n-p}$$p$

サイドノート。 複数の予測変数がある場合、それらの予測変数のサブセットのみを考慮するとモデル適合の品質が「低下」するのではないかと疑問に思うかもしれません。これは、ネストされたモデルを検討する状況に対応します。これは、上記のものとまったく同じ状況であり、特定の回帰モデルをヌルモデルと比較します（予測子は含まれません）。説明された分散の減少を評価するために、両方のモデルの残差平方和（RSS）を比較できます（つまり、モデルに存在する予測変数の効果を説明すると説明されないままになります）。ましょう及びと示す基本モデル（、M 1 PQ=P+1 RSS M 1 - RSS M 0（ RSS M 1 - RSS M 0） / RSS M 0 P-QN-PFのP-QN-PFFαα=$\mathcal{M}_0$$\mathcal{M}_1$$p$パラメータ）および追加の予測子を含むモデル（パラメータ）、が小さい場合、小さいモデルは大きいモデルと同等のパフォーマンスを発揮すると考えられます。使用する良い統計は、そのようなSSの比率、自由度（分子の場合は、分母の場合は）で重み付けされます。すでに述べたように、この量はおよびの自由度を持つ（またはFisher-Snedecor）分布に従うことを示すことができます。観測された$q=p+1$$\text{RSS}_{\mathcal{M}_1}-\text{RSS}_{\mathcal{M}_0}$$(\text{RSS}_{\mathcal{M}_1}-\text{RSS}_{\mathcal{M}_0})/\text{RSS}_{\mathcal{M}_0}$$p-q$$n-p$$F$$p-q$$n-p$$F$与えられた（通常、）で対応する変位値よりも大きい場合、より大きなモデルは「より良い仕事」をすると結論付けます。（これは、実際の観点からモデルが正しいことを意味するものではありません！）$F$$\alpha$$\alpha=0.05$

上記の考え方の一般化は、尤度比検定です。

Rを使用している場合、次のような上記の概念を試すことができます。

df <- transform(X <- as.data.frame(replicate(2, rnorm(100))), 
                                   y = V1+V2+rnorm(100))
## simple regression
anova(lm(y ~ V1, df))         # "ANOVA view"
summary(lm(y ~ V1, df))       # "Regression view"
## multiple regression
summary(lm0 <- lm(y ~ ., df))
lm1 <- update(lm0, . ~ . -V2) # reduced model
anova(lm1, lm0)               # test of V2