係数間の有意差をテストする正しい方法は何ですか？

18

誰かが私のために混乱のポイントをまっすぐにするのを手伝ってくれることを望んでいます。次の設定で、2セットの回帰係数が互いに有意に異なるかどうかをテストしたいとします。

$y_i = \alpha + \beta x_i + \epsilon_i$ 、5つの独立変数。
ほぼ等しいサイズの 2つのグループ（これは異なる場合があります） $n_1, n_2$
数千の同様の回帰が同時に行われるため、何らかの種類の複数の仮説修正を行う必要があります。

私に提案されたアプローチの1つは、Zテストを使用することです。

$Z = \frac{b_1 - b_2}{\sqrt(SEb_1^2 + SEb_2^2)}$

このボードで私が見た別の提案は、グループ化のためにダミー変数を導入し、モデルを次のように書き換えることです：

$y_i = \alpha + \beta x_i + \delta(x_ig_i) + \epsilon_i$ 、ここでは0、1としてコード化されたグループ化変数です。 $g$

私の質問は、これらの2つのアプローチがどのように異なるのか（たとえば、異なる前提条件、柔軟性）です。一方が他方よりも適切ですか？これはかなり基本的なことではないかと思いますが、説明をいただければ幸いです。

regression hypothesis-testing multiple-regression

— カソ
ソース

同様の質問に対する答えとコメントが、あなたが求める明確化の一部を提供するかもしれないと思います。

— whuber

ありがとうwhuber。私はその答えに精通していました。受け入れられた回答（およびそこにあるあなたのコメント）の下の議論から、2つの別々の近似の係数を比較することは適切ではないという印象を受けました。別の近似からの係数に適用されたz検定は正しくありませんか、またはダミー変数のコーディングが単純で簡単で、同等の答えが得られますか？

— カシオ

1

返信の最後の段落（「主な制限...」）を参照してください。Z検定は、が大きく（それ以外の場合は検定で使用）、推定標準偏差が互いにあまり違わないと仮定して有効です。標準偏差が大きく異なる場合（おおよそ、3：1の比率を超える場合）、どちらのアプローチも最適ではありません。

n_{i}

$n_i$

S E b_{i}

$SEb_i$

— whuber

13

2つのアプローチは異なります。

2つの回帰の推定標準誤差をとます。次に、結合された回帰（すべての係数とダミーの相互作用）は同じ係数に適合するため、同じ残差があり、その標準誤差は次のように計算できます。 $s_1$ $s_2$

s = \sqrt{\frac{(n_{1} - p) s_{1}^{2} + (n_{2} - p) s_{2}^{2})}{n_{1} + n_{2} - 2 p}} .

$s = \sqrt{\frac{(n_1-p) s_1^2 + (n_2-p) s_2^2)}{n_1 + n_2 - 2 p}}.$

この例では、パラメーターの数はに等しく、5つの勾配と各回帰の切片です。 $p$ $6$

してみましょう 1つの回帰のパラメータを推定し、その他の回帰で同じパラメータを推定し、そして彼らの見積もり違いを組み合わせ回帰で。次に、それらの標準エラーは、 $b_1$ $b_2$ $b$

S E (b) = s \sqrt{(S E (b_{1}) / s_{1})^{2} + (S E (b_{2}) / s_{2})^{2}} .

$SE(b) = s \sqrt{(SE(b_1)/s_1)^2 + (SE(b_2)/s_2)^2}.$

結合回帰を行っていないが、個別の回帰の統計のみがある場合は、前述の方程式をプラグインします。これがt検定の分母になります。明らかにそれは質問で提示された分母と同じではありません。 $s$

結合回帰によって行われた仮定は、残差の分散が両方の別個の回帰で本質的に同じであるということです。ただし、そうでない場合は、z検定もうまくいきません（サンプルサイズが大きい場合を除く）。CABF検定またはWelch-Satterthwaite t 検定を使用することをお勧めします。

— ウーバー
ソース

9

2つのグループ間の係数の差をテストする最も直接的な方法は、相互作用項を回帰に含めることです。これは、質問で説明するものとほぼ同じです。実行するモデルは次のとおりです。

$y_i = \alpha + \beta x_i + \gamma g_i + \delta (x_i \times g_i) + \varepsilon_i$

グループ変数を別のリグレッサーとしてモデルに含めていることに注意してください。このモデルでは、帰無仮説検定は、2つのグループ間で係数が同じであるかの検定です。これを確認するには、最初に上記のモデルでにします。次に、グループ0について次の方程式を取得します。 $t$ $H_0: \delta = 0$ $g_i = 0$

$y_i = \alpha + \beta x_i + \varepsilon_i$

場合、次のようになります。 $g_i = 1$

$y_i = (\alpha + \gamma) + (\beta + \delta) x_i + \varepsilon_i$

したがって、が0の場合、2つのグループは同じ係数を持ちます。 $\delta$

— マット・ブラックウェル
ソース

モデルを修正していただきありがとうございます（上記のバージョンでは、両方のグループでインターセプトが同じであることを単に強制していると思います...）。要するに、これは上記で投稿したz-testと同等でしょうか？

— カシオ

一つの効果は、二つ以上のグループ間で異なるかどうかをテストしたい場合、ANOVAモデルを比較することになるとこの回答に示す、は適切ですか？

y_{i} = α + β x_{i} + γ g_{i} + ε_{i}

$y_i = \alpha + \beta x_i + \gamma g_i + \varepsilon_i$

y_{i} = α + β x_{i} + γ g_{i} + δ (x_{i} \times g_{i}) + ε_{i}

$y_i = \alpha + \beta x_i + \gamma g_i + \delta (x_i \times g_i) + \varepsilon_i$

— ミウラ

@ matt-blackwellは、概念的にgの各値でモデルを階層化することと同じですか？（つまり、bは、g = 0の場合はxの係数であり、g = 1の場合はbeta + deltaになります）階層化では統計的な比較ができないことを理解しています。

— bobmcpop