すべての相互作用の用語は、回帰モデルの個々の用語を必要としますか？

68

著者が5〜6個のロジット回帰モデルをAICと比較している原稿を実際にレビューしています。ただし、一部のモデルには、個々の共変量項を含まない相互作用項があります。これを行うのは理にかなっていますか？

例（ロジットモデルに固有ではない）：

M1: Y = X1 + X2 + X1*X2
M2: Y = X1 + X2
M3: Y = X1 + X1*X2 (missing X2)
M4: Y = X2 + X1*X2 (missing X1)
M5: Y = X1*X2 (missing X1 & X2)

相互作用用語X1 * X2がある場合、X1 + X2も必要であるという印象を受けていました。したがって、モデル1と2は問題ありませんが、モデル3〜5には問題があります（AICが低い場合でも）。これは正しいです？それはルールですか、それともガイドラインですか？この背後にある理由を説明する良い参考資料はありますか？レビューで重要なことを誤解しないようにしたいだけです。

考えをありがとう、ダン

— ジョッキング
ソース

8

+1、これは本当に良い質問だと思います。また、同じ領域の多くをカバーするこの以前の質問を確認することもできます。そこの答えも本当に素晴らしいです。

— GUNG -モニカ元に戻し

すでにたくさんの良い答えがあります。ありましたRindskopfの論文あなたはいくつかのケースではない主効果を必要とするが。（これも参照）

— ピーター・フロム-モニカの復職

3

知る：Rのlm（）で、:A：Bのように相互作用のためです。そして*、主な効果と相互作用の両方のためであるため、A * B = A + B + A：Bです。論文の著者がこの表記法に従えば（！）、どのモデルにも主要な効果が欠けているとは思いませんか？

— ジュバル14

また、現在の回答と同じロジックが高次のインタラクションに適用されます（たとえば、3ウェイを含める場合はすべての2ウェイインタラクションが必要）

— Peter Flom-Reinstate Monica

38

ほとんどの場合、これは悪い考えです-主な理由は、モデルが位置シフトに対して不変にならないことです。たとえば、単一の結果と2つの予測子およびあり、モデルを指定するとします。 $y_i$ $x_i$ $z_i$

y_{i} = β_{0} + β_{1} x_{i} z_{i} + ε

$y_i = \beta_0 + \beta_1 x_{i} z_i + \varepsilon$

平均を使用して予測変数を中央に配置すると、なります。 $x_i z_i$

(x_{i} - \bar{x}) (z_{i} - \bar{z}) = x_{i} z_{i} - x_{i} \bar{z} - z_{i} \bar{x} + \bar{x} \bar{z}

$(x_i - \overline{x})(z_i - \overline{z}) = x_i z_i - x_{i} \overline{z} - z_{i} \overline{x} + \overline{x} \overline{z}$

そのため、主な効果がモデルに再導入されていることがわかります。

ここでヒューリスティックな引数を与えましたが、これは実際的な問題を提示します。114ページのFaraway（2005）で述べたように、主効果がモデルから除外されると、スケールの相加的な変化によりモデルの推論が変化しますが、低次の項が含まれる場合は起こりません。低次の影響なしにモデルに多項式項または相互作用を含める場合に発生する可能性がある、ロケーションシフトなどの任意のものが統計的推論の根本的な変化（したがって、問い合わせの結論）を引き起こすことは通常望ましくありません。

注：に特定の実質的な意味がある場合、または個々の変数なく製品のみを観察する場合、相互作用のみを含める特別な状況があります。しかし、その場合、予測子を考えてモデルを続行することもできます $x_i z_i$ $x_i, z_i$ $a_i = x_i z_i$

y_{i} = α_{0} + α_{1} a_{i} + ε_{i}

$y_i = \alpha_0 + \alpha_1 a_i + \varepsilon_i$

を相互作用用語として考えるのではなく。 $a_i$

— 大きい
ソース

additive change in scale changes the inference (the t -statistics) for all but the highest order terms when any lower order terms are left out of the model

予測変数の相加的変化は、通常、完全なモデルであっても、主効果（低次の項）のtを変化させます。保持されるのは全体的な適合（R ^ 2）です（ただし、主効果が一部削除されたモデルの加法的な変更では保持されません）。それはあなたが言いたかったことですか？

— ttnphns

はい、そうです@ttnphns-それを指摘してくれてありがとう-私はこれを反映するために答えを少し修正しました。

— マクロ

28

これまでのすべての答えは、非常に基本的な点を見逃しているようです。選択する関数形式は、科学的に関連する機能を取り込むのに十分な柔軟性が必要です。モデル2〜5は、科学的正当化なしに一部の項にゼロ係数を課します。科学的に正当化されたとしても、モデル1は魅力的であり続けます。なぜなら、ゼロ係数を課すのではなくテストする方がよいからです。

重要なのは、制限の意味を理解することです。モデル3〜5を避けるための典型的な注意点は、ほとんどのアプリケーションでは、それらが課す仮定が科学的に信じられないためです。モデル3では、X2は勾配dY / dX1にのみ影響し、レベルには影響しないと想定しています。モデル4では、X1は勾配dY / dX2にのみ影響し、レベルには影響しないと想定しています。また、モデル5は、X1もX2もレベルに影響を与えず、dY / dX1またはdY / dX2のみを想定しています。ほとんどのアプリケーションでは、これらの仮定は合理的ではないようです。モデル2もゼロ係数を課していますが、それでもある程度のメリットがあります。これは、データに最適な線形近似を提供し、多くの場合、科学的目標を満たします。

— トリスタン
ソース

5

（+1）これはすべて真実ですが、元のポスターは著者がモデル選択を試みている状況を説明しているようで、彼らの候補モデルのいくつかは相互作用を含まないものでした-そのため、彼らの動機はAICによって導かれました実質的なものではなく（常に危険なことですが、明らかにそれを行ったようです）。実質的な何かに導かれたら、それによってモデル構造を決定する必要があります。しかし、あなたが統計的基準に導かれているとき、私が答えで示したように、主効果を除外することは悪い特性を持つ可能性があります。

— マクロ

16

+1 @Macro。カテゴリ予測子がある場合に懸念される同様のポイントであると思うものを引き出してみましょう。多くはそれらがコード化される方法に依存できます。たとえば、参照セル（別名、「ダミー」）コーディングは0と1を使用しますが、エフェクトコーディングは-1、0と1を使用します。それぞれ2つのレベルを持つ2つの因子、単純なケースを考えます $x_1x_2$ 使用されるコーディングスキームに応じて、[0、0、0、1]または[1、-1、-1、1]になります。あるコーディングスキームでは相互作用のみが「重要」であるが、他のスキームを使用するとすべての用語が「重要」であるという状況が発生する可能性があると思います。これは、意味のある解釈上の決定が、実際にはあなたのソフトウェアがあなたの知らないうちにあなたのためにしたかもしれない任意のコーディングの決定に基づいてなされることを意味します。これは小さな点であることを認識していますが、通常は相互作用のみを保持することはお勧めできません（もちろん、p値に基づいて予測子のサブセットを選択しないこともお勧めしません）。

— gung-モニカの復職
ソース

1

カテゴリの主効果の有意性テストは、それほど不変ではありません。グループは、治療コーディング下の参照グループとは大幅に異なる場合がありますが、コントラストコーディング下の「大平均」効果とは異なる場合があります。

— 確率論的

10

論文をレビューしているので、著者がモデル階層の問題を議論し、そこからの離脱を正当化することを提案するかもしれません。

以下に参考文献を示します。

ネルダーJA。応答曲面モデルでの用語の選択-弱遺伝率の原理はどの程度強力ですか？アメリカの統計学者。1998; 52：315–8。http://www.jstor.org/pss/2685433。2010年6月10日にアクセス。
Peixoto JL。多項式回帰モデルでの階層変数選択。アメリカの統計学者。1987; 41：311–3。http://www.jstor.org/pss/2684752。2010年6月10日にアクセス。
Peixoto JL。よく定式化された多項式回帰モデルの特性。アメリカの統計学者。1990; 44：26–30。http://www.jstor.org/pss/2684952。2010年6月10日にアクセス。

私は通常、階層に従いますが、状況によっては階層から離れます。たとえば、いくつかの異なる速度でタイヤの摩耗と燃費をテストする場合、モデルは次のようになります。

トレッドの深さ=インターセプト+走行距離+走行距離*速度

しかし、タイヤは速度がゼロマイルでどのようになるかを知らないため、速度の主な効果を含めることは物理的に意味がありません。

（一方で、速度の影響をテストすることもできます。これは、「侵入」効果が異なる速度で異なることを示している可能性があるためです。ゼロおよび非常に低い燃費でデータを取得し、非線形性をテストします。インターセプト項を削除することは、階層違反の特殊なケースと考えることができることに注意してください。

また、上記の誰かが言ったことを繰り返しますが、それは非常に重要だからです。作成者は、ソフトウェアがデータを集中させているかどうかを確認する必要があります。ソフトウェアが走行距離を（走行距離-走行距離の平均）に置き換えた場合、上記のタイヤモデルは物理的に無意味になります。

同じようなことが医薬品の安定性の研究にも関連しています（「シーケンシャルストレージの安定性モデル」、Emil M. FriedmanおよびSam C. Shum、AAPS PharmSciTech、Vol。12、No。1、2011年3月、DOI：10.1208 / s12249-010-9558-x）。

— エミル・フリードマン
ソース

1

ありがとう、これは素晴らしい答えであり、統計的に精通していない人に説明するのに役立ちます。

— -djhocking

1

+1 SOで回答をマージできるといいのですが。上記の受け入れられた答えとこれは完璧な答えを形成します。

— ジュバル

9

これを説明する実際のケースがあります。データでは、変数の1つがgroup0制御および1処理で表されています。もう1つの予測子はtime period、治療前0と治療後1で表されます。相互作用は、治療の効果を測定する重要な主要パラメータであり、治療群での治療後の差は、対照群で測定された時間の効果を上回りました。からの主な効果group治療前に2つのグループの差を測定したため、簡単に0になる可能性がありました（ランダム化実験では0である必要がありますが、これはそうではありませんでした）。2番目の主効果は、治療が行われていないコントロールグループの前後の期間の差を測定するため、相互作用項がゼロ以外の場合に0になる可能性があることも意味があります。もちろん、これは物事がどのようにコーディングされたかによって異なり、コーディングが異なると意味が変わり、相互作用が主な効果なしで意味をなすかどうかによって異なります。そのため、特定の場合に主効果なしで相互作用を適合させることだけが理にかなっています。

— グレッグ・スノー
ソース

だから、それはすべてあなたの研究の目的やパラメーターに基づいていることを意味しますか？

— ベン14

1

@Ben、変数をパラメータ化する方法（私の例では、どちらかの変数の0/1を1/0に切り替えると解釈が変わります）と、答えようとしている質問とあなたがしたい仮定の両方に依存する可能性があります。

— グレッグスノー14

お返事をありがとうございます。相互作用には2つの方法があり、それをダミー年と相互作用させたいと思っています。双方向の相互作用についてのみ2008年（規制年）を評価したいと思います。そう、それは使用しても大丈夫である X＆Zが連続変数であるが、Zは、規制の評価です。2008年は、他の年については1と0が記録されます。だから、私は相互作用なしで2008年の観測のみをとるようなものです。弱い遺伝と強い遺伝の原理について読みましたが、はっきり理解していませんでした

Y = B_{0} + B_{1} X + B_{2} Z + B_{3} X * Z * 2008 + y e a r d u m m i e s

$Y= B_0+B_1 X+B_2 Z+B_3X*Z*2008+yeardummies$

— ベン

1

@Ben、確かに、上記のモデルに適合することは確かに可能です。これは、基本的に2008年に相互作用がある（またはあるかもしれない）と考えているが、他の年にはそうではないということです。これを正当化する理由があれば、モデルは問題ないと思います。しかし、これはおそらく、すべての聴衆に対してこれを正当化する必要があるという、非常に珍しい仮定です。

— グレッグスノー14

とても助かりました。それはとの相互作用の出力を比較しても大丈夫ですが全期間のためのものであり、相互作用が唯一2008年のためである

B 1 X

$B1X$

B 1 X

$B1X$

— ベン・

7

ピーターに同意します。ルールは民間伝承だと思います。相互作用のために2つの変数がモデルに影響を与える状況を考えることができるのはなぜですか。化学の類推として、2つの化学物質はそれ自体では完全に不活性ですが、混合すると爆発を引き起こします。不変性のような数学的/統計的な微妙さは、実際のデータに関する実際の問題とは関係ありません。考慮すべき変数が多数ある場合、すべての主要な効果と、すべてではないにしてもほとんどの1次相互作用を調べる場合、非常に多くのテストを行う必要があると思います。また、少数の変数のみを使用した小規模な実験でも、二次相互作用はほとんど見ません。相互作用の次数が高いほど、本当の効果がある可能性は低くなると考えています。だから主効果がない場合は、1次または2次の相互作用を調べます。たぶん良い規則ですが、宗教的にそれに従うことは例外を見落とすことを意味し、あなたの問題は例外かもしれません。

— マイケル・チャーニック
ソース

8

日時：「不変性のような数学的/統計的微妙性は、実際のデータに関する実際の問題とは関係ありません」値、したがって統計的推論（したがって、予測子の重要性に関する実世界の決定）は、予測子の中心を決定するのと同じくらい任意の何かに依存します。

p

$p$

— マクロ

1

私はおそらく、不変性は現実の世界では何の関連性もないという発言を間違えたでしょう。私の意図した点は、いくつかの数学的な結果が特定の実用的な問題に関連しないかもしれないということでした。例として、最小二乗推定値は通常の誤差仮定の下で最尤であり、ガウスマルコフの定理により、弱い条件の下では最小分散不偏ですが、データに外れ値がある場合は使用しません。同様に、不変性のようなプロパティは、主効果なしに発生すると医学的に言う意味がある場合、相互作用を含めることを除外すべきですか？

— マイケルチャーニック

6

[ほとんどの回答で明らかにされていないように思われる元の質問の一部に答えようとしている：「モデル選択基準としてAICを信頼すべきか？」

AICは、福音としてとるべきルールよりも、ガイドラインとして使用する必要があります。

AIC（またはBICまたはモデル選択のための同様の「単純な」基準）の有効性は、学習アルゴリズムと問題に大きく依存します。

このように考えてください：AIC式の複雑さ（因子の数）の用語の目標は単純です：過剰適合モデルの選択を避けるためです。しかし、AICの単純さは、問題自体の実際の複雑さを把握できないことがよくあります。これが、過剰適合を回避するための他の実用的な手法が存在する理由です。たとえば、相互検証または正則化用語の追加です。

オンラインSGD（確率的勾配降下法）を使用して、非常に多数の入力を持つデータセットで線形回帰を実行すると、AICは、多数の項を持つ複雑なモデルに過度のペナルティを与えるため、モデル品質のひどい予測子であることがわかります。各用語がわずかな効果しか持たない現実の状況は数多くありますが、それらを組み合わせることで、結果の強力な統計的証拠が得られます。AICおよびBICモデル選択基準は、これらのモデルを拒否し、より複雑なモデルが優れている場合でも、より単純なモデルを優先します。

最終的には、一般化エラー（大まかに言うと、サンプルパフォーマンスの不足）が重要です。AICは、いくつかの比較的単純な状況でモデル品質のヒントを提供できます。ただ、注意して、実際の生活は単純な式よりも複雑であることが多いことを覚えておいてください。

— アリエルフ
ソース