線形回帰におけるt検定とANOVAの違い

線形回帰のt検定とANOVAの違いは何ですか？

傾斜と切片のいずれか1つが平均ゼロであるかどうかをテストするt検定ですが、ANOVAはすべての傾斜が平均ゼロであるかどうかをテストしますか？これが唯一の違いですか？
予測変数が1つしかない単純な線形回帰では、推定する勾配は1つだけです。t検定とANOVAは同等です。もしそうなら、異なる統計を使用している場合（t検定はt統計を使用し、ANOVAはF統計を使用している場合）

regression anova t-test

— ティム
ソース

Ad 1）線形回帰では、通常、ANOVAはモデルの適合度の尺度として理解します。つまり、モデル（回帰直線）が全変動のかなりの部分を説明するかどうかを決定します。質問は、すべての勾配がゼロであることに相当するかどうか、本当に興味深いです。広告2）この場合、t検定と回帰ANOVAでほぼ同じp値を取得しているようです。本当に興味深い定理！

— 好奇心が

回答:

一般的な線形モデルでは、ANOVAモデルを回帰モデルとして作成できます。それぞれ2つの観測値を持つ2つのグループ、つまりベクトル 4つの観測値があるとします。次に、元のオーバーパラメーター化されたモデルはで、は予測子の行列、つまり、ダミーコード化されたインジケーター変数です： $y$ $E(y) = X^{\star} \beta^{\star}$ $X^{\star}$

（ \begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix} ） = (\begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{array}) (\begin{matrix} β_{0}^{⋆} \\ β_{1}^{⋆} \\ β_{2}^{⋆} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{ccc}1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0}^{\star} \\ \beta_{1}^{\star} \\ \beta_{2}^{\star}\end{array}\right)$

パラメータはとして識別できないので、ランクを有します2（は可逆的ではありません）。これを変更するために、制約（処理のコントラスト）を導入します。これにより、新しいモデル： $((X^{\star})' X^{\star})^{-1} (X^{\star})' E(y)$ $X^{\star}$ $(X^{\star})'X^{\star}$ $\beta_{1}^{\star} = 0$ $E(y) = X \beta$

（ \begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix} ） = （ \begin{array}{cc} 1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1 \end{array} ） （ \begin{matrix} β_{0} \\ β_{2} \end{matrix} ）

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{cc}1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0} \\ \beta_{2}\end{array}\right)$

したがって、、つまりは、参照カテゴリ（グループ1）からの期待値の意味を取ります。、つまりは参照カテゴリとの差の意味を取ります。2つのグループでは、グループ効果に関連付けられたパラメーターが1つしかないため、ANOVA帰無仮説（すべてのグループ効果パラメーターは0）は回帰重み帰無仮説（勾配パラメーターは0）と同じです。 $\mu_{1} = \beta_{0}$ $\beta_{0}$ $\mu_{2} = \beta_{0} + \beta_{2}$ $\beta_{2}$ $\mu_{2} - \mu_{1}$

一般線形モデルで検定は線形組み合わせテストパラメーターの仮定値に対してヌル仮説の下を。選択すると、（勾配パラメーターの通常のテスト）、つまりここではという仮説をテストできます。推定量は、ここではパラメーターのOLS推定。このようなの一般的な検定統計量は次のとおりです $t$ $\psi = \sum c_{j} \beta_{j}$ $\psi_{0}$ $c = (0, 1)'$ $\beta_{2} = 0$ $\mu_{2} - \mu_{1} = 0$ $\hat{\psi} = \sum c_{j} \hat{\beta}_{j}$ $\hat{\beta} = (X'X)^{-1} X' y$ $\psi$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_{0}}{\hat{\sigma} \sqrt{c' (X'X)^{-1} c}}$

$\hat{\sigma}^{2} = \|e\|^{2} / (n-\mathrm{Rank}(X))$ は誤差分散の不偏推定量で、ここでは、二乗残差の合計です。2つのグループの場合、、したがって推定量はと。私達の場合には1であり、検定統計量は次のようになる。 $\|e\|^{2}$ $\mathrm{Rank}(X) = 2$ $(X'X)^{-1} X' = \left(\begin{smallmatrix}.5 & .5 & 0 & 0 \\-.5 & -.5 & .5 & .5\end{smallmatrix}\right)$ $\hat{\beta}_{0} = 0.5 y_{1} + 0.5 y_{2} = M_{1}$ $\hat{\beta}_{2} = -0.5 y_{1} - 0.5 y_{2} + 0.5 y_{3} + 0.5 y_{4} = M_{2} - M_{1}$ $c' (X'X)^{-1} c$

t = \frac{M_{2} - M_{1} - 0}{\hat{σ}} = \frac{M_{2} - M_{1}}{\sqrt{‖ e ‖^{2} / (n - 2)}}

$t = \frac{M_{2} - M_{1} - 0}{\hat{\sigma}} = \frac{M_{2} - M_{1}}{\sqrt{\|e\|^{2} / (n-2)}}$

$t$ は df（ここでは）で分布しています。を2乗すると、、ANOVAからの検定統計量二つのグループのための検定（間ため、は次のグループ内の場合） - 1および分布 df。 $t$ $n - \mathrm{Rank}(X)$ $n-2$ $t$ $\frac{(M_{2} - M_{1})^{2} / 1}{\|e\|^{2} / (n-2)} = \frac{SS_{b} / df_{b}}{SS_{w} / df_{w}} = F$ $F$ $b$ $w$ $F$ $n - \mathrm{Rank}(X)$

3つ以上のグループがある場合、ANOVA仮説（すべてのは同時に0、1）は複数のパラメーターを参照し、線形結合として表現できないため、テストは等価ではありません。 $\beta_{j}$ $1 \leq j$ $\psi$

— カラカル
ソース

1では、ANOVAは通常、因子変数をテストし、グループ間の分散が有意であるかどうかをテストします。ソフトウェアが回帰で指標変数を許可している場合、違いが明確にわかります。各ダミーについて、このグループのスコアが0と大きく異なるかどうかを示すp値が得られ、結果として適用可能な参照グループまたは参照値と大きく異なります。通常、ANOVAテストを実行するまで、インジケーター自体がどの程度重要であるかはわかりません。

F検定は2乗t検定です。したがって、2では同じです。

— 労働
ソース

ありがとう！（1）インジケーター変数とはどういう意味ですか？（2）一般に、t検定は、グループが2つしかない場合にのみANOVAと同等です。ただし、単純な線形回帰では、3つ以上のグループが存在する場合があります。グループの数は、予測変数がデータセットで取る値の数です。

— ティム

（1）指標変数またはカテゴリ変数または因子変数...すべて同じ。（2）確かに、しかし、あなたはANOVAからのダミー/カテゴリーのスコアのスコアを知りたいかもしれません。

— 労働

ありがとう！（2）単純な線形回帰では、3つ以上のグループがある場合、t検定はどのようにANOVAと同等ですか？「ANOVAのダミー/カテゴリスコアのセット」はどういう意味ですか？また、なぜそれを知りたいのですか？

— ティム

OLS回帰では、定義するグループの数に関係なく、R²（説明される分散）はeta²またはANOVAからのMSS / TSSに等しくなります。次に、ダミーのセット（つまり、インジケータ変数）の寄与を知り、セット自体が関連するかどうか、どの程度までかを知りたい場合があります。。

— 労働