共分散行列を使用して、重回帰の係数を見つける方法はありますか？

単純な線形回帰の場合、回帰係数は分散共分散行列 $C$ からによって直接計算できます。

\frac{C_{d, e}}{C_{e, e}}

$C_{d, e}\over C_{e,e}$ ここで、

d

$d$ は従属変数のインデックス、

e

$e$ は説明変数のインデックスです。

共分散行列しかない場合、複数の説明変数を持つモデルの係数を計算できますか？

ETAは、2つの説明変数については、それが現れると同様のための。これを3つ以上の変数に拡張する方法がすぐにわかりません。

β_{1} = \frac{C o v (y, x_{1}) v a r (x_{2}) - C o v (y, x_{2}) C o v (x_{1}, x_{2})}{v a r (x_{1}) v a r (x_{2}) - C o v (x_{1}, x_{2})^{2}}

$\beta_1 = \frac{Cov(y,x_1)var(x_2) - Cov(y,x_2)Cov(x_1,x_2)}{var(x_1)var(x_2) - Cov(x_1,x_2)^2}$

β_{2}

$\beta_2$

regression regression-coefficients covariance-matrix

— デビッド
ソース

係数ベクトル

を解決する

。代数的操作のいくつかは、これが実際に2係数の場合に与える式と同じであることを明らかにしています。stat.purdue.edu/~jennings/stat514/stat512notes/topic3.pdfでうまくレイアウトされています。それがまったく役立つかどうかはわかりません。しかし、私はこれがその式に基づいて一般的に不可能であることを推測するためにベンチャーします。

\hat{β}

$\hat{\beta}$

X^{'} Y = (X^{'} X)^{- 1} β

$X'Y=(X'X)^{-1}\beta$

— シャドウトーカー14

@Davidこれを任意の数の説明変数（2を超える）に拡張する方法を見つけましたか？表現が必要です。

— ジェーンウェイン

whuberは行列形式で以下の溶液を得た：私は確信して私はあなたの質問を理解していないよ@JaneWayne

C^{- 1} (Cov (X_{i}, y))^{'}

$C^{-1}(\text{Cov}(X_i, y))^\prime$

— デヴィッド・

うん、私はそれを研究し、彼は正しい。

— ジェーンウェイン

はい、すべての変数（説明と応答）の共分散行列には、モデルに切片（定数）項が含まれている場合、すべての係数を見つけるために必要な情報が含まれています。（共分散は定数項に関する情報を提供しませんが、データの平均から見つけることができます。）

分析

説明変数のデータを次元の列ベクトルとして配置し、応答変数を列ベクトルとし、ランダム変数実現と見なします。通常の最小二乗推定値はモデルにおける係数の $n$ $x_1, x_2, \ldots, x_p$ $y$ $Y$ $\hat\beta$

E (Y) = α + X β

$\mathbb{E}(Y) = \alpha + X\beta$

$p+1$ $X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$ $n \times p+1$ $X$

X^{'} X \hat{β} = X^{'} y .

$X^\prime X \hat\beta = X^\prime y.$

システムと同等です

\frac{1}{n} X^{'} X \hat{β} = \frac{1}{n} X^{'} y .

$\frac{1}{n}X^\prime X \hat\beta = \frac{1}{n}X^\prime y.$

ガウス消去法はこのシステムを解決します。それは、隣接することによって進行します $p+1\times p+1$ $\frac{1}{n}X^\prime X$ $p+1$ $\frac{1}{n}X^\prime y$ $p+1 \times p+2$ $A$

$\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$ $A$ $\frac{1}{n}X_0^\prime X_i = \overline X_i$ $A_{i+1,j+1} = X_i^\prime X_j$ $\overline X_i \overline X_j$ $X_i$ $X_j$ $i+1, p+2$ $\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$ $X_i$ $y$

したがって、ガウス消去法の最初のステップの後、システムは解くようになります

C \hat{β} = (Cov (X_{i}, y))^{'}

$C\hat{\beta} = (\text{Cov}(X_i, y))^\prime$

そして明らかに-すべての係数が共分散であるため-その解はすべての変数の共分散行列から見つけることができます。

$C$ $C^{-1}(\text{Cov}(X_i, y))^\prime$ $p=1$ $p=2$ $p$ $C$

$y$ $X\hat{\beta}$

例

例として、次のRコードはいくつかのデータを作成し、それらの共分散を計算し、その情報のみから最小二乗係数の推定値を取得します。それらを最小二乗推定器から取得した推定値と比較しますlm。

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat

出力は、2つの方法の一致を示しています。

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675

— ヒューバー
ソース

X

$X$ cov(z)

この昇給このクロス検証済みのバーのような回答

— jpmuc

@whuberあなたの例ではy、xとから切片を計算しましたbeta.hat。yそしてx、元のデータの一部です。共分散行列と平均値だけから切片を導出することは可能ですか？表記を教えてください。

— ジェーンウェイン

\bar{X}

$\bar X$

\hat{β}

$\hat \beta$

\bar{バツ} \hat{β} = \bar{バツ \hat{β}} 。

$\overline X \hat\beta = \overline{X \hat\beta}.$ これを反映するようにコードを変更しました。

— whuber

コードの非常に役立つ+1

— マイケル