重回帰または偏相関係数?そして2つの関係


35

この質問が理にかなっているかさえわかりませんが、重回帰と偏相関の違いは何ですか(相関と回帰の明らかな違いは別として、私が目指しているものではありません)?

次のことを理解したいと
思います。2つの独立変数(、)と1つの従属変数()があります。現在、個別の独立変数は従属変数と相関していません。ただし、が減少すると、所定の減少します。だから私は重回帰または偏相関によってそれを分析しますか?x1x2yx1 yx2

うまくいけば私の質問を改善するために編集します。 私は重回帰と偏相関の違いを理解しようとしています。ときに、与えられたために減少減少、すなわちの複合効果によるものでおよびに(重回帰)またはそれが原因の影響の除去である(部分的な相関)を?yx1x2x1x2yx1


3
答えようとしている実質的な質問は何ですか?
GUNG -復活モニカ

同様の質問stats.stackexchange.com/q/50156/3277も参照してください。
ttnphns

回答:


32

多重線形回帰係数と偏相関は直接リンクされ、同じ意味(p値)を持ちます。部分rは、ベータ係数(標準化された回帰係数)とともに、係数を標準化するもう1つの方法です。したがって、従属変数がで、独立変数がと場合、、Y 、X 1 、X 21yx1x2

Beta:βx1=ryx1ryx2rx1x21rx1x22

部分r:ryバツ1バツ2=ryバツ1ryバツ2rバツ1バツ21ryバツ221rバツ1バツ22

分子は同じであり、両方の式が同じ一意の効果測定することを示しています。2つの式が構造的に同一である方法とそうでない方法について説明します。バツ1

3つの変数すべてをz標準化(平均0、分散1)したとします。分子は、その後の二種類の間の共分散に等しい残差:予測する際に左()残差によって [標準両方の変数]と予測する際に左(b)の残差によって [標準の両方の変数]。さらに、残差(a)の分散はです。残差(b)の分散はです。x 2 x 1 x 2 1 - r 2 y x 2 1 - r 2 x 1 x 2yバツ2バツ1バツ21ryx221rx1x22

ための式部分相関は、次いで明確無地ピアソンの式表示ピアソン:残差()と残差(B)との間に、このインスタンスで計算されるように、、我々が知っている共分散の幾何平均である分母で除算し、 2つの異なる分散。rrr

標準化された係数betaは構造的にPearsonに似ていますが、分母が自身の分散の幾何平均であることだけが異なります。残差(a)の分散はカウントされませんでした。残差の分散の2番目のカウント(b)に置き換えられました。したがって、ベータは、2つの残差の共分散であり、それら1つ(具体的には、対象の予測子関連するもの)の分散に対する相対です。すでに指摘したように、部分相関は、ハイブリッド分散に対する同じ共分散です。両方のタイプの係数は、他の予測変数の環境での効果を標準化する方法です。x 1 x 1rx1x1

違いのいくつかの数値的結果。およびよる重回帰のR-square が1である場合、予測変数と従属変数の両方の偏相関も1絶対値になります(ただし、ベータは通常1にはなりません)。実際、前述したように、残差との残差との相関です。場合はではありません内のされ、正確に何をされていない内の、その後内の何もないでもないもx 1 x 2 r y x 1x 2 x 2 y x 2 x 1 y x 1 x 2 x 2 y 1 - r 2 y x 2 x 1 1 - r 2 x 1 x 2 r y x 1X 2 β X 1つの Y Yyx1x2ryx1.x2y <- x2x1 <- x2x2y x2x1yx1x2:完全にフィット。の独立した部分(によって比較的高くキャプチャされた場合、説明されていない()部分の量は何でも())、は高くなります。一方、、キャプチャされている説明されていない部分自体が実質的な部分である場合にのみ高くなります。x2y1ryx22x11rx1x22ryx1.x2βx1yy


上記の公式から、ベータと対応する部分rの間の変換式を取得します(2予測子回帰から任意数の予測子を含む回帰に拡張し)。x1,x2,x3,..

ryx1.X=βx1var(ex1X)var(eyX),

どこ現在の(除くすべての予測変数のコレクションを表します)。はをで回帰した残差であり、はをで回帰した残差であり、これらの回帰の変数は標準化されています。x 1 e y X y X e x 1X x 1 Xバツバツ1eyバツyバツeバツ1バツバツ1バツ

注:すべての予測子と偏相関を計算する必要がある場合、通常、2つの追加の回帰を行う必要があるこの式は使用しません。むしろ、スイープ操作(多くの場合、段階的およびすべてのサブセット回帰アルゴリズムで使用されます)が実行されるか、アンチイメージ相関行列が計算されます。xyバツ


β X 1 = B 、X 1 σ X 11 βバツ1=bバツ1σバツ1σyは、生のと切片付き回帰の標準化された係数との関係です。bβ


ありがとうございました。しかし、例えば私の質問で説明されている目的のために、どちらを選ぶかはどうすればいいですか?
user34927

2
当然、自由に選択できます。分子は同じなので、同じ情報を伝えます。(完全には明らかにされていない)質問に関しては、「rが0でない場合、regr。coef。が0になる可能性がある」というトピックに関するようです。「rが0の場合、regr。coef。を0にできません」。それについてはサイト上で多くの質問があります。たとえば、stats.stackexchange.com / q / 14234/3277を読んでくださいstats.stackexchange.com/q/44279/3277
ttnphns

私の質問を明確にしようとしました。
user3492713年

X1の修正( "x1 given")= X1の効果を除去(制御)します。(相互作用X1 * X2を追加しない限り)重回帰には「複合効果」のようなものはありません。複数回帰の効果は競争力があります。線形回帰効果は、実際には偏相関です。
ttnphns

1
少し待って、@ user34927。to prove that the DV (Y) is significantly correlated with one of two IVs (X1) if the effect of the other IV (X2) is removed効果はどこから削除されましたか?X2をYとX1の両方から「削除」すると、corrが削除されます。YとX1の間が相関です。X1からX2を「削除」する場合は、corrのみです。YとX1の間は、部分(または半部分)相関と呼ばれます。あなたは本当にそれについて尋ねていましたか?
ttnphns

0

たまたまこのトレッドにぶつかっただけです。以下のための式の元の答え、に因子βx1欠落している、である β X 1 = R 、Y 、X 1 - R 、Y 、X 2、R 、X 1 、X 2SSY/SSX1SSY=ΣIYI-ˉY2SSX1=ΣIX1、I- ˉ X 12

βx1=ryx1ryx2 rx1x21rx1x22×SSYSSX1,
SSY=i(yiy¯)2SSX1=i(x1ix¯1)2

の式を与えています。私の答えはβについてでした。bβ
ttnphns
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.