2つの異なる回帰からの係数の等価性のテスト

これは基本的な問題のようですが、2つの異なる回帰からの係数の等価性をテストする方法が実際にはわからないことに気付きました。誰もこれにいくらか光を当てることができますか？

より正式に、私は、次の2つの回帰を実行したとしますとどこ、回帰の計画行列を指し、、および回帰における係数のベクトルに。とは潜在的に非常に異なっており、異なる次元などがあることに注意してください。たとえば、かどうかに興味があります。

y_{1} = X_{1} β_{1} + ϵ_{1}

$y_1 = X_1\beta_1 + \epsilon_1$

y_{2} = X_{2} β_{2} + ϵ_{2}

$y_2 = X_2\beta_2 + \epsilon_2$

X_{i}

$X_i$

i

$i$

β_{i}

$\beta_i$

i

$i$

X_{1}

$X_1$

X_{2}

$X_2$

{\hat{β}}_{11} \neq {\hat{β}}_{21}

$\hat\beta_{11} \neq \hat\beta_{21}$

これらが同じリグレッションに由来する場合、これは簡単なことです。しかし、それらは異なるものから来ているので、私はそれを行う方法がよくわかりません。誰かがアイデアを持っていますか、私にいくつかの指針を与えることができますか？

私の問題の詳細：私の最初の直観は、信頼区間を見ることでした。そして、それらが重なる場合、それらは本質的に同じであると言えます。ただし、この手順には正しいサイズのテストが付属していません（つまり、個々の信頼区間にはありますが、それらを一緒に見ると同じ確率にはなりません）。私の「2番目」の直観は、通常のt検定を行うことでした。つまり、取る $\alpha=0.05$

\frac{β_{11} - β_{21}}{s d (β_{11})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11})}$

ここで、は帰無仮説の値として使用されます。ただし、これにはの推定の不確実性は考慮されておらず、答えは回帰の順序（これを1および2と呼びます）に依存する場合があります。 $\beta_{21}$ $\beta_{21}$

私の3番目のアイデアは、同じ回帰の2つの係数が等しいかどうかの標準テストのように、つまり

\frac{β_{11} - β_{21}}{s d (β_{11} - β_{21})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11}-\beta_{21})}$

合併症は、両方が異なる回帰に由来するという事実のために発生します。ご了承ください

V a r (β_{11} - β_{21}) = V a r (β_{11}) + V a r (β_{21}) - 2 C o v (β_{11}, β_{21})

$Var(\beta_{11}-\beta_{21}) = Var(\beta_{11}) + Var(\beta_{21}) -2 Cov(\beta_{11},\beta_{21})$ しかしそれらは異なる回帰からのものですが、どのようにを取得できますか？

C o v (β_{11}, β_{21})

$Cov(\beta_{11},\beta_{21})$

このため、ここでこの質問をすることになりました。これは標準的な手順/標準テストである必要がありますが、この問題に十分似たものは見つかりませんでした。だから、誰かが正しい手順を教えてくれたら、とても感謝しています！

hypothesis-testing inference

— コーヒージャンキー
ソース

これは、構造方程式/同時方程式モデリングに関連しているようです。この問題を解決する1つの方法は、両方の方程式を同時に、たとえば最尤法で適合させ、制約のないモデルに対して制約付き（等しいパラメーターモデル）の尤度比検定を使用することです。実際にこれは、SEMのソフトウェア（Mplus、lavaanなど）で行うことができます

— tomka

一見無関係な回帰（SUR）について知っていますか？

— Dimitriy V. Masterov

あなたのレイズ、すなわち両方の係数のcovを取得する方法の問題はSEMによって解決され、すべての係数のvar-cov行列が得られると思います。その後、LRTテストの代わりに、提案した方法でWaldテストを使用できます。さらに、より直接的な再サンプリング/ブートストラップを使用することもできます。

— トムカ14

はい、あなたはそれについて正しいです、@ tomka。SURモデル（SEMモデルの特別なケースを大まかに考えると）で、適切なテストを取得できます。私をその方向に向けてくれてありがとう！私は大砲でスズメを撃つことに少し似ているように見えるので、私はそれについて考えなかったと思うが、私は確かにより良い方法を考えることができない。あなたが答えを書き上げるなら、私はそれを正しいとマークします。それ以外の場合は、理論的な簡単な説明と、場合によっては例を使用して、すぐに説明します。

— coffeinjunky

SURの実装は非常に簡単です。ここだのStataとの一例。Rでは、systemfitが必要です。

— ディミトリV. Masterov 14

回答:

これは一般的な分析ではありませんが、実際には興味深いものです。受け入れられた答えはあなたが質問した方法に適合しますが、同等またはそうでないかもしれない別の合理的に受け入れられたテクニックを提供するつもりです（私はそれについてコメントするためにより良い心にそれを任せます）。

このアプローチは、次のZテストを使用することです。

$Z = \frac{\beta_1-\beta_2}{\sqrt{(SE\beta_1)^2+(SE\beta_2)^2}}$

どこの標準誤差である。 $SE\beta$ $\beta$

この式は、Clogg、CC、Petkova、E。、およびHaritou、A。（1995）によって提供されています。モデル間の回帰係数を比較するための統計的方法。アメリカ社会学会、100（5）、1261-1293。そして、Paternoster、R.、Brame、R.、Mazerolle、P.、＆Piquero、A.（1998）に引用されています。回帰係数が等しいかどうかの正しい統計的検定を使用します。犯罪学、36 （4）、859-866。方程式4は、ペイウォールなしで利用できます。ではなくを使用するようにPeternosterの式を調整しました $\beta$ $b$ なぜなら、恐ろしい理由とCloggらの私の記憶のために、異なるDVに興味を持つかもしれないからです。彼らの式は使用していました。また、この式をCohen、Cohen、West、およびAikenに対してクロスチェックしたことを覚えています。同じ考え方の根源は、係数2.8.6、pg 46-47の差の信頼区間にあります。 $\beta$

— ラッセルピアス
ソース

参照：stats.stackexchange.com/questions/55501/...

— russellpierce

素晴らしい答え！質問：これは、モデル1のとモデル2の線形結合にも適用されますか？同様に、

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Z = \frac{A β_{1} - B β_{2}}{\sqrt{(SE A β_{1})^{2} + (SE B β_{2})^{2}}}

$Z=\frac{A\beta_1-B\beta_2}{\sqrt{(\text{SE}A\beta_1)^2+(\text{SE}B\beta_2)^2}}$

— Sibbsギャンブル

また、1つのモデルが他のモデルの内側にネストされ、2つのモデルのDVが同じである場合について説明していることに気付きました。これら2つの条件が満たされない場合はどうなりますか？代わりに、2つのモデルの設計マトリックスは同じですが、DVが異なります。この式はまだ適用されますか？どうもありがとう！

— シブスギャンブル

@SibbsGambling：あなたはそれをそれ自体で質問にしたいと思うかもしれません。

— ラッセルピアス

一見すると、これはcoffeinjunkyの回答で示唆されたSURソリューションの特殊なケースのように見えます。と推定量間の共分散は暗黙的にゼロであると仮定されるため、これは特別なケースです。一般的に正当化できるのだろうか。安全のために、代わりにcoffeinjunkyによるより一般的な解決策を探します。これは、なぜこれが明らかに最も多くの票を集めた受け入れられた答えであるのか疑問に思っています。

β_{1}

$\beta_1$

β_{2}

$\beta_2$

— リチャードハーディ

同様の質問がある人のために、答えの簡単な概要を説明させてください。

トリックは、2つの方程式を一見無関係な方程式のシステムとして設定し、それらを共同で推定することです。つまり、とを互いの上に積み重ね、設計マトリックスでほぼ同じことを行います。つまり、推定されるシステムは次のとおりです。 $y_1$ $y_2$

$\left(\array{y_1 \\ y_2}\right) = \left(\array{X_1 \ \ 0 \\ 0 \ \ X_2}\right)\left(\array{\beta_1 \\ \beta_2 }\right) + \left(\array{e_1 \\ e_2 }\right)$

これにより、2つの係数の等価性をテストできる分散共分散行列が得られます。

— コーヒージャンキー
ソース

あなたが提案した方法を実装し、上記の方法と比較しました。主な違いは、誤差分散が同じであるという仮定が同じかどうかです。あなたの方法は、誤差の分散が同じであると仮定し、上記の方法はそれを仮定しません。

— KHキム

これは私にとってはうまくいきました。Stataでは、次のようなことを行いました。 expand =2, generate(indicator); generate y = cond(indicator, y2, y1); regress y i.indicator##c.X, vce(cluster id); クラスター化された標準エラーを使用すると、e1とe2は、データセットをスタックした後の同じ観測に対して独立ではないという事実を説明します。

— wkschwartz

$Var(\beta_1-\beta2)=Var(\beta_1)+Var(\beta_2)$
$covar(\beta_1,\beta_2) \neq 0$
（Clogg、CC、Petkova、E.＆＆Haritou、A.（1995）。モデル間で回帰係数を比較するための統計的手法。AmericanJournal of Sociology、100（5）、1261-1293。）ネストされた方程式（つまり、2番目の方程式を取得し、最初の方程式を検討し、いくつかの説明変数を追加する）は、実装が簡単だと言います。
私がそれをよく理解していれば、この特別なケースでは、オスマンテストも実装できます。主な違いは、彼らのテストは真であると2番目の（完全な）方程式を考慮し、Haussmanテストは真であると最初の方程式を考慮することです。
Clogg et al（1995）はパネルデータには適していません。しかし、彼らのテストは一般化されています（Yan、J.、Aseltine Jr、RH、＆Harel、O.（2013）。クラスター化されたデータのネストされた線形モデル間の回帰係数を一般化推定方程式と比較します。（2）、172-189。）Rで提供されるパッケージ：geepack参照：https ://www.jstor.org/stable/pdf/41999419.pdf?refreqid=excelsior%3Aa0a3b20f2bc68223edb59e3254c234be&seq =1

そして（Rパッケージの場合）：https : //cran.r-project.org/web/packages/geepack/index.html

— アレクサンドル・カゼナーヴ=ラクルート
ソース