複数の従属変数を使用した回帰?


61

2つ以上の従属変数を持つ(多重)回帰式を持つことは可能ですか?もちろん、DVごとに2つの別々の回帰式を実行できますが、2つのDV間の関係をキャプチャするようには見えませんか?


SURまたは3SLSのように?
海の老人。

回答:


35

はい、可能です。興味のあることは、「多変量重回帰」または単に「多変量回帰」と呼ばれます。使用しているソフトウェアはわかりませんが、これはRで実行できます。

ここに例を提供するリンクがあります。

http://www.public.iastate.edu/~maitra/stat501/lectures/MultivariateRegression.pdf


2
回帰を個別に適合させることは、実際、従属変数のマトリックスを使用した多変量定式化と同等であると付け加えることができます。パッケージmvtnormがインストールされたR(1番目:多変量モデル、2番目:個別の単変量モデル):library(mvtnorm); X <-rmvnorm(100、c(1、2)、matrix(c(4、2、2、3)、ncol = 2)); Y <-X%*%matrix(1:4、ncol = 2)+ rmvnorm(100、c(0、0)、diag(c(20、30))); lm(Y〜X [、1] + X [、2]); lm(Y [、1]〜X [、1] + X [、2]); lm(Y [、2]〜X [、1] + X [、2])
カラカル

3
同等の場合、目的は何ですか?
ジョシュアローゼンバーグ

1
@JoshuaRosenberg単一の従属変数を使用して個別の回帰で多変量回帰を実行する1つの理由は、異なる結果変数全体で係数のテストを実行できることです。たとえば、F検定を実行して、予測変数が1つの結果変数に対して別の結果変数と同じ効果を持つかどうかを確認できます。
AlexK

10

@Brettの応答は問題ありません。

2ブロック構造の記述に興味がある場合は、PLS回帰も使用できます。基本的に、それは、共分散が最大になるように、各ブロックに属する変数の連続的な(直交する)線形結合を構築するという考え方に依存する回帰フレームワークです。ここでは、以下に示すように、1つのブロックは説明変数が含まれ、他のブロックYには応答変数が含まれると考えます。XY

代替テキスト

ブロックに含まれる最大の情報を(線形に)説明する一方で、最小のエラーでYブロックを予測できる「潜在変数」を探します。UのJおよびVのjは各次元に関連する負荷(すなわち、線形結合)です。最適化基準の読み取りXYujvj

maxuh∣=1,vh∣=1cov(Xh1uh,Yvh)(maxcov(ξh,ωh))

ここで、は、回帰後の収縮(つまり、残差)ブロックを表し。Xh1h thXhth

最初の次元(および)の階乗スコア間の相関は、 -リンクの大きさを反映しています。ω 1 X Yξ1ω1XY


multipleX-multipleY PLSは、本質的に複数の「multipleX-singleY」PLSを実行すると思います。したがって、Y変数間の関係は扱われません。
ランセリバイ

4

多変量回帰は、GLS多変量オプションを使用してSPSSで実行されます。

すべての結果(DV)を結果ボックスに入れますが、連続予測変数はすべて共変量ボックスに入れます。ファクターボックスには何も必要ありません。多変量テストを見てください。単変量テストは、個別の重回帰と同じです。

他の誰かが言ったように、これを構造方程式モデルとして指定することもできますが、テストは同じです。

(興味深いことに、これは興味深いと思いますが、これには英国と米国の違いが少しあります。英国では、通常、多重回帰は多変量手法とは見なされません。 )



2

これを行うには、まず回帰変数をPCA計算変数に変換し、次にPCA計算変数を使用して回帰します。もちろん、分類したい新しいインスタンスがあるときに、対応するpca値を計算できるように固有ベクトルを保存します。


2
これは、上記の答えとは概念的に異なるようです。変数をPCA係数に変換すると、2 +従属変数の回帰がどのように可能になるのか、まだわかりません。
ジェフ

@Jeffこの答えは、実際には概念的に多変量回帰に似ています。ここでは、2つの個別のステップを順番に実行することをお勧めします(つまり、重み付き線形複合変数を見つけて回帰します)。多変量回帰は、2つのステップを同時に実行します。WLCVは回帰を最大化するように形成されるため、多変量回帰はより強力になります。ただし、2段階の手順は、プロセスに関するより明確な情報を提供するか、そうでなければ研究者にとって好ましい場合があります。
GUNG -モニカ元に戻し

1
@gungうーん、この種のことは、従属変数でPCAを行い、最初の主成分のみで回帰する場合に理にかなっています...しかし、それでも多くの分散を捨てています。
ジェフ

1
@ Jeff、PCは直交しています。それぞれに対して独立した回帰を実行できます。ただし、これはそれほど強力ではないため、分解はまったく同じではなく、多変量回帰テストは実際にはPC上の一連のregではありません。
GUNG -モニカ元に戻し

@gungはい、N個の独立した回帰を実行できますが、N個のベータ係数セットになります。私はそれが問題を解決する方法を理解していませんか?
ジェフ

1

caracalで述べたように、Rでmvtnormパッケージを使用できます。モデル内の応答の1つのlmモデル(「model」という名前)を作成し、「model」と呼ぶと仮定して、多変量予測分布を取得する方法を次に示します。行列形式Yに格納されたいくつかの応答「resp1」、「resp2」、「resp3」の例:

library(mvtnorm)
model = lm(resp1~1+x+x1+x2,datas) #this is only a fake model to get
                                  #the X matrix out of it
Y = as.matrix(datas[,c("resp1","resp2","resp3")])
X =  model.matrix(delete.response(terms(model)), 
           data, model$contrasts)
XprimeX  = t(X) %*% X
XprimeXinv = solve(xprimex)
hatB =  xprimexinv %*% t(X) %*% Y
A = t(Y - X%*%hatB)%*% (Y-X%*%hatB)
F = ncol(X)
M = ncol(Y)
N = nrow(Y)
nu= N-(M+F)+1 #nu must be positive
C_1 =  c(1  + x0 %*% xprimexinv %*% t(x0)) #for a prediction of the factor setting x0 (a vector of size F=ncol(X))
varY = A/(nu) 
postmean = x0 %*% hatB
nsim = 2000
ysim = rmvt(n=nsim,delta=postmux0,C_1*varY,df=nu) 

現在、ysimの分位数は予測分布からのベータ期待値の許容範囲です。もちろん、サンプリングされた分布を直接使用して、必要な処理を実行できます。

アンドリューFに答えると、自由度はnu = N-(M + F)+1 ...です。Nは観測数、Mは応答数、Fは方程式モデルごとのパラメーター数です。nuは正でなければなりません。

(このドキュメントの私の研究を読みたいかもしれません:-))


0

「正準相関」という用語に出くわしましたか?独立側と従属側に変数のセットがあります。しかし、もっと現代的な概念が利用できるかもしれません。私が持っている説明は80年代/ 90年代のすべてです...


1
正準相関は、CCAまたはPLSの場合のように、2ブロック構造から計算された因子スコア間の相関です。これは、応答(PLS回帰)で説明したとおりです。ただし、変数が非対称の役割を果たす場合、CCAよりもPLSの方が適切です。これは、非対称のデフレーションプロセスがあり、代わりに共分散で作業するためです(CCAでは、両方のブロックを同時にデフレートし、共分散ではなく相関を最大化しようとします)。
chl

@chl:upps-今日(1月の終わり)11月中旬のこの質問/会話に戻ってきました...申し訳ありませんが、早めにチェックしませんでした-コースに何かあったので、stat.exchangeを忘れました。 ..何か価値があれば、来日また来ます。
ゴットフリードヘルムズ

-3

構造方程式モデルまたは連立方程式モデルと呼ばれます。


3
私は間違っているかもしれませんが、これは同じことだとは思いません。私が見たSEMグラフから、SEMは複数の回帰式を使用して潜在因子の値を決定し、それらの潜在因子の値に対して別の回帰を実行して高次因子を決定しているようです。これは間違っているかもしれませんが、複数のIVを複数のDVにリンクするSEMグラフを見たことはありません。すべてが階層的です。
ジェフ

このペーパーの図8:biomedcentral.com/1471-2288/3/27実行できますが、ほとんど意味がありません。MANOVAと同じです。
ジェレミーマイルズ
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.