モデルを作成するときに、統計的に有意ではない共変量を「保持」する必要がありますか？

モデルの計算にはいくつかの共変量がありますが、そのすべてが統計的に有意ではありません。そうでないものは削除すべきですか？

この質問は現象について説明していますが、私の質問には答えていません 。ANCOVAの共変量の有意でない影響をどのように解釈するか

しかし、その質問に対する答えには、有意ではない共変量を取り出すことを示唆するものは何もありません。そのため、今のところ、それらは留まるべきだと信じています。あるしきい値（共変量には当てはまらないと思われる有意性しきい値）を超える量を必ずしも説明することなく、分散の一部を説明できます（したがって、モデルを支援します）。

CVのどこかに別の質問があり、その答えは有意性に関係なく共変量を保持する必要があることを暗示しているようですが、それについては明確ではありません。（私はその質問にリンクしたいのですが、たった今再び追跡することができませんでした。）

それで...統計的に有意ではない共変量は、モデルの計算で保持されるべきですか？（とにかく計算によって共変量がモデル出力に決して含まれないことを明確にするために、この質問を編集しました。）

複雑さを追加するために、データの一部のサブセット（個別に処理する必要のあるサブセット）の共変量が統計的に有意な場合はどうでしょうか。デフォルトでは、このような共変量を保持します。そうしないと、異なるモデルを使用するか、いずれかのケースで統計的に有意な共変量が失われます。ただし、このスプリットケースについても回答がある場合は、そのことをお知らせください。

あなたはすでにいくつかの良い答えを得ています。共変量を保持する理由と共変量を削除する理由があります。ほとんどの場合、統計的有意性は重要な要因ではありません。

1. 共変量は、そこに存在する必要があるほど実質的に重要である可能性があります。
2. 有意でない場合でも、共変量の効果サイズは大きくなる場合があります。
3. 共変量は、モデルの他の側面に影響を与える可能性があります。
4. 共変量は、仮説の表現方法の一部である可能性があります。

あなたは非常に探索モードの場合と共変量は、文献では重要ではありませんし、効果サイズが小さいと共変量がモデルにほとんど影響を与えないと、共変量は、あなたの仮説ではありませんでした、そして、あなたはおそらく簡単にするためにそれを削除することができ。

長い答えは「はい」です。重要でない予測変数を削除する理由はほとんどなく、そうでない多くの理由があります。それらを解釈する限り、他の予測変数を解釈するように値を無視します。予測変数の興味深い範囲にわたる効果の信頼区間を使用します。$P$

有用な洞察の1つは、統計的に話す共変量について実際に特定のものは何もないということです。たとえば、共変量を回帰式に書き込むヘルプを参照してください。ちなみに、covariateタグがない理由を説明するかもしれません。したがって、ANCOVAが明示的に言及されていなくても、線形モデルの重要でない用語に関するここおよびその他の資料は、ステップワイズ回帰のよく知られた批評家と同様に関連しています。

一般的に言えば、有意性のみに基づいて予測変数を選択するのは悪い考えです。何らかの理由でモデルを事前に指定できない場合、他のアプローチを検討する必要がありますが、そもそもそれらを含めることを計画し、それに応じてデータを収集し、特定の問題（共線性など）に直面していない場合は、そのままにしてください。

それらを保持する理由に関して、あなたが思いついた異議は私には聞こえます。もう1つの理由は、重要でない予測変数を削除すると、モデルに基づいて推論が偏るからです。これをすべて見る別の方法は、事実の後にこれらの共変量を削除することによって何が得られるかを尋ねることです。

この質問に答えるには、目標に関する詳細な情報が本当に必要です。回帰は、主に2つの目的で使用されます。

1. 予測
2. 推論

予測とは、サンプルに含まれない観測値の結果変数の値を推測できるようにすることです（通常はサンプルデータの範囲内ですが、そうでない場合は「予測」という言葉を使用することもあります）。予測は、広告目的、金融などに役立ちます。結果変数の予測に興味があるだけの場合は、ほとんど提供しません。

推論は、楽しみがどこにあるかです（たとえお金がなくても）。推論は、特定のモデルパラメーターについて結論を下す場所です。通常は、ある変数の別の変数に対する因果効果を判断するために使用されます。一般的な認識にもかかわらず、因果推論には回帰分析だけでは十分ではありません。回帰が因果効果を捕らえるかどうかを知るために、データ生成プロセスについて常にもっと知る必要があります。回帰からの因果推論の重要な問題は、エラーの条件付き平均（リグレッサの条件付き）がゼロであるかどうかです。これは、リグレッサのp値から知ることはできません。偏りのない、または一貫性のある回帰エスティメータを使用することは可能ですが、それは単に明らかなコントロールを回帰に投げ込み、重要なコントロールを取得することを期待するよりもはるかに多くの労力を必要とします。マスタリング「メトリクス：原因から結果への道、ほとんど無害な計量経済学」）。マスタリングメトリックは読みやすく、非常に安価ですが、回帰を行う方法ではなく、それらが意味するものを扱うものではないことに注意してください。良い観察研究デザインと悪い観察研究デザインの例を十分に網羅するために、David Freedman（1991）の「Statistical Models and Shoe Leather」、Sociological Methodology、ボリューム21（魅力的な例を含む短くて読みやすい）をお勧めします。

余談ですが、ほとんどの大学のコースでの優れた研究デザインに対する統計的手法への執着は、私の教育的苦労です。

この問題の現在の重要性を動機付けるもう1つの理由は、予測と推論の違いが、ビッグデータが科学の代わりにならない理由です。