従属変数との相関が低い独立変数は有意な予測因子になることができますか？

8つの独立変数と1つの従属変数があります。私は相関行列を実行しましたが、そのうちの5つはDVとの相関が低くなっています。次に、段階的多重回帰を実行して、IVの一部またはすべてがDVを予測できるかどうかを確認しました。回帰は、2つのIVだけがDVを予測できることを示し（ただし、分散の約20％しか説明できない）、SPSSはモデルから残りを削除しました。私の監督者は、相関の強さが原因で、回帰モデルでより多くの予測子を見つけるべきだったため、回帰を正しく実行していないと考えています。しかし、相関関係は小さかったので、私の質問は次のとおりです。IVとDVがほとんど相関しない場合でも、IVは依然としてDVの優れた予測因子になり得ますか？

— エル
ソース

タイトルとコンテンツで、「依存」と「独立」という用語の間にいくつかの混乱が見られます。私の編集があなたの意図した意味を保持していることを確認してください。どちらが混乱するかという事実は、「従属変数」ではなく「応答」や「結果」など、より刺激的な用語の主張を強化します。最後に略語について、多くの人にとって「IV」は楽器の変数を意味することに注意してください。

— Nick Cox

はい、可能です。1つの理由は、サンプルサイズが大きいことです。もう1つの理由は交絡です。主な独立変数は別の独立変数によって基づけられるため、被依存者との相関が低い可能性があります。その交絡因子がモデルに追加されると、元の独立変数を予測から予測へ（または交絡の種類に応じて予測から非予測へ）変更することができます。回帰は、すべての独立変数が無相関で、ほとんど起こりません。

— Penguin_Knight

ステップワイズ回帰を「2つのIVだけがDVを予測できることを示した」と言うと、それがどのように機能するか理解していないことを示唆しています。2つのIVが強く相関していて、どちらかがDVをほぼ同等に予測している場合、段階的な手順で1つをかなり任意に削除できます。完全な8-IVモデルの使用に関する問題は何ですか？

— Scortchi-モニカの回復

段階的に使用したい場合は、解毒剤としてフランクハレル、回帰モデリング戦略、 Springer、ニューヨーク、2001 に手を伸ばしてください。彼はこのサイトでアクティブで、「段階的」という言葉を聞くとロケットを発射する可能性があります。

— Nick Cox

統計の把握が弱ければ弱いほど、変数選択の手順をいじる必要が少なくなります。各IVが他のIVを制御した後にDVにどのように関連するかを調べることが目標である場合、それは完全なモデルからの係数推定（信頼区間を含む）が正確に伝えていることです。分散インフレ係数を一緒に見ると、IV間の相関関係が不確実性にどのように寄与しているかがわかります。交差検証または調整された決定係数、モデル全体の予測能力を評価し、過剰適合をチェックします。

R^{2}

$R^2$

— Scortchi-モニカの回復

回答:

相関行列を使用して、変数間の無条件の（粗雑な）関連付けを調べています。回帰モデルを使用して、IVとDVの結合を調べ、条件付きの関連付け（各IV について、他のIVの条件付き DV との関連付け）を調べます。データの構造に応じて、これら2つは非常に異なる結果をもたらします。

— 三浦
ソース

偶然にも、同様の概念を示すために（実際にはステップワイズ回帰の問題の1つを示すために）以前に作成した例を見ていました。以下は、シミュレートされたデータセットを作成および分析するためのRコードです。

set.seed(1)
x1 <- rnorm(25)
x2 <- rnorm(25, x1)
y <- x1-x2 + rnorm(25)
pairs( cbind(y,x1,x2) )    # Relevant results of each following line appear below...
cor( cbind(y,x1,x2) )      # rx1y  =   .08      rx2y = -.26      rx1x2 = .79
summary(lm(y~x1))          # t(23) =   .39         p = .70
summary(lm(y~x2))          # t(23) = -1.28         p = .21
summary(lm(y~x1+x2))       # t(22) =  2.54, -2.88  p = .02, .01 (for x1 & x2, respectively)

相関と単純な線形回帰は、と各変数との間に低い（統計的に有意ではない）関係を示します。しかし、は両方のの関数として定義され、重回帰は両方を有意な予測子として示しています。 $y$ $x$ $y$ $x$

— グレッグ・スノー
ソース

ソフトウェアの出力から定量的な詳細を確認でき、理想的にはデータを見ることもできれば、質問への回答が容易になります。

特に「低相関」とは何ですか？どの有意水準を使用していますか？SPSSが一部をドロップする結果となる予測子間の組み込みの関係はありますか？

あなたがあなたが何をしたか正確に述べていないので、あなたがあなたの目的のためにあなたが最も良いか最も適切な構文を使用したかどうかを判断する範囲がないことに注意してください。

大まかに言えば、予測因子と結果の間の低い相関は、チョコレートケーキを作るためにチョコレートを必要とするのとほとんど同じ方法で回帰が失望する可能性があることを意味します。詳細を教えてください。そうすれば、より適切な回答が得られるはずです。

また、大まかに言えば、上司の失望は、あなたが間違ったことをしたことを意味するものではありません。監督者があなたよりも少ない統計を知っている場合、あなたはあなたの施設の他の人々からアドバイスとサポートを求める必要があります。

— ニックコックス
ソース

みんなありがとう。これはちょっとした質問です。私のDVとIVは、制御の軌跡（3つのサブスケール）、ソーシャルサポート、対処の自己効力感（3つのサブスケール）、および感情的知能（これらはすべて自己報告アンケートに関連する）であり、どのように/かどうか知りたいので、ストレスを感じましたDVは知覚されたストレスを予測することができます。すべての変数間の相関関係を調べたところ、それらはすべて.40未満であり、有意水準は.001です。最初にピアソン相関を実行して、DVが知覚されたストレスと相関しているかどうかを確認し、次に回帰によってストレスを予測できるかどうかを確認しました。

— Elle

@miuraが正しく強調しているように、おかしなことが起こる可能性がありますが、これらの結果は比較的低いと完全に一致しているように見えます。

R^{2}

$R^2$

— Nick Cox