PCAを介して直交回帰（合計最小二乗）を実行する方法は？

私は常にlm()R での線形回帰を実行するために使用します。この関数は、ような係数返します $y$ $x$ $\beta$

y = β x .

$y = \beta x.$

今日、私は総最小二乗について学び、そのprincomp()機能（主成分分析、PCA）を使用してそれを実行できることを学びました。それは私にとって良いはずです（より正確に）。を使用していくつかのテストを行いましたprincomp()：

r <- princomp( ~ x + y)

私の問題は、結果をどのように解釈するかです。回帰係数を取得するにはどうすればよいですか？「係数」とは、値を掛けて近い数を与えるために使用しなければならない数を意味します。 $\beta$ $x$ $y$

— ail
ソース

一瞬、私は少し混乱しています。見：zoonek2.free.fr/UNIX/48_R/09.html私たちが話していると思うので、これはPCA（主成分分析、別名「直交回帰」または「正方形の垂直合計」または「総最小二乗法」）と呼ばれていますprincomp（）を使用したTLSについて

— デール

いいえ。これらは2つの異なるものです。PCAに関するウィキペディアの記事を参照してください。ここで使用されている事実はハックです（正確さはわかりませんが、確認します）。それが、係数の複雑な抽出の理由です。

関連する質問：stats.stackexchange.com/questions/2691/…とブログ投稿が回答の1つによって参照されています：cerebralmastication.com/2010/09/…–

— Jonathan

通常の最小二乗対総最小二乗

最初に、予測変数（独立）変数 1つだけの最も単純なケースを考えてみましょう。簡単にするために、と両方を中央に置きます。つまり、切片は常にゼロです。標準のOLS回帰と「直交」TLS回帰の違いは、PCAで最も人気のあるスレッドで最も人気のある回答からのこの（私が適応した）図に明確に示されています。 $x$ $x$ $y$

OLSとTLS

OLSフィット方程式の観測値との間の二乗距離を最小化することによって予測値。TLSは、点間の距離の2乗と線上の投影を最小化することにより、同じ方程式に適合します。この最も単純なケースでは、TLSラインは2Dデータの最初の主要なコンポーネントにすぎません。を見つけるには、点でPCAを実行します。つまり、共分散行列を構築し、その最初の固有ベクトル $y=\beta x$ $y$ $\hat y$ $(x,y)$ $\beta$ $(x,y)$ $2\times 2$ $\boldsymbol \Sigma$ です。 ; 次に、 $\mathbf v = (v_x, v_y)$ $\beta = v_y/v_x$

Matlabで：

 v = pca([x y]);    //# x and y are centered column vectors
 beta = v(2,1)/v(1,1);

Rで：

 v <- prcomp(cbind(x,y))$rotation
 beta <- v[2,1]/v[1,1]

ちなみに、とが中央に配置されていなくても、これにより正しい勾配が得られます（組み込みのPCA関数が自動的に中央配置を実行するため）。インターセプト、計算回収する $x$ $y$ $\beta_0 = \bar y - \beta \bar x$ 。

OLS対TLS、重回帰

従属変数の指定されたし、多くの独立変数が（再び、すべての簡略化のために中心）、回帰方程式にフィットOLSは、観測値との間の二乗誤差最小化することによって適合を行い予測値。TLSは、観察との間の二乗距離を最小化することによって適合を行い $y$ $x_i$

y = β_{1} x_{1} + \dots + β_{p} x_{p} .

$y= \beta_1 x_1 + \ldots + \beta_p x_p.$

y

$y$

\hat{y}

$\hat y$

(x, y) \in R^{p + 1}

$(\mathbf x, y)\in\mathbb R^{p+1}$ 回帰平面/超平面上の点と最も近い点。

もう「回帰線」がないことに注意してください！上記の方程式は超平面を指定します：2つの予測子がある場合は2D平面、3つの予測子がある場合は3D超平面などです。したがって、上記のソリューションは機能しません。最初のPCのみを取得してTLSソリューションを取得できません（行）。それでも、ソリューションはPCAを介して簡単に取得できます。

前と同様に、PCAはポイントで実行されます。これにより、列に固有ベクトルが生成されます。最初の個の固有ベクトルは、必要な次元の超平面を定義します。最後の（数）固有ベクトルはそれに直交します。問題は、最初の個の固有ベクトルによって与えられたの基底をどのようにに変換するかです。 $(\mathbf x, y)$ $p+1$ $\mathbf V$ $p$ $p$ $\mathcal H$ $p+1$ $\mathbf v_{p+1}$ $\mathcal H$ $p$ $\boldsymbol \beta$ 係数です。

我々が設定されている場合ことを確認しすべてのためのみ、次いで、、すなわち、ベクトル超平面にある。一方、 $x_i=0$ $i \ne k$ $x_k=1$ $\hat y=\beta_k$

(0, \dots, 1, \dots, β_{k}) \in H

$(0,\ldots, 1, \ldots, \beta_k) \in \mathcal H$

H

$\mathcal H$

はそれに直交します。ゼロでなければならないそれらのドット積、すなわち

v_{p + 1} = (v_{1}, \dots, v_{p + 1}) ⊥ H

$\mathbf v_{p+1}=(v_1, \ldots, v_{p+1}) \:\bot\: \mathcal H$

v_{k} + β_{k} v_{p + 1} = 0 \Rightarrow β_{k} = - v_{k} / v_{p + 1} .

$v_k + \beta_k v_{p+1}=0 \Rightarrow \beta_k = -v_k/v_{p+1}.$

Matlabで：

 v = pca([X y]);    //# X is a centered n-times-p matrix, y is n-times-1 column vector
 beta = -v(1:end-1,end)/v(end,end);

Rで：

 v <- prcomp(cbind(X,y))$rotation
 beta <- -v[-ncol(v),ncol(v)] / v[ncol(v),ncol(v)]

繰り返しますが、これにより、とが中央に配置されていない場合でも、正しい勾配が得られます（組み込みPCA関数が自動的に中央に配置されるため）。切片を回復するために、計算は、。 $x$ $y$ $\beta_0 = \bar y - \bar {\mathbf x} \boldsymbol \beta$

$x$ $(x,y)$ $v^{(1)}_y/v^{(1)}_x=-v^{(2)}_x/v^{(2)}_y$

TLSのクローズドフォームソリューション

$\boldsymbol \beta$

$\mathbf X$ $\mathbf y$ $\mathbf v_{p+1}$ $[\mathbf X\: \mathbf y]$ $\sigma^2_{p+1}$ $-\mathbf v_{p+1}/v_{p+1} = (\boldsymbol \beta\:\: -1)^\top$

(\begin{matrix} X^{⊤} X & X^{⊤} y \\ y^{⊤} X & y^{⊤} y \end{matrix}) (\begin{matrix} β \\ - 1 \end{matrix}) = σ_{p + 1}^{2} (\begin{matrix} β \\ - 1 \end{matrix}),

$\left(\begin{array}{c}\mathbf X^\top \mathbf X & \mathbf X^\top \mathbf y\\ \mathbf y^\top \mathbf X & \mathbf y^\top \mathbf y\end{array}\right) \left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right) = \sigma^2_{p+1}\left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right),$

β_{T L S} = (X^{⊤} X - σ_{p + 1}^{2} I)^{- 1} X^{⊤} y,

$\boldsymbol \beta_\mathrm{TLS} = (\mathbf X^\top \mathbf X - \sigma^2_{p+1}\mathbf I)^{-1} \mathbf X^\top \mathbf y,$

β_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} y .

$\boldsymbol \beta_\mathrm{OLS} = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y.$

多変量重回帰

同じ式を多変量の場合に一般化できますが、多変量TLSが何をするかを定義するためにも、代数が必要になります。TLSのウィキペディアを参照してください。多変量OLS回帰は、各従属変数の一連の単変量OLS回帰と同等ですが、TLSの場合はそうではありません。

— アメーバはモニカを復活させると言う
ソース

私はRを知りませんが、今後の参考のためにRスニペットを提供したかったのです。ここにはRに精通した人がたくさんいます。必要に応じてスニペットを編集してください。ありがとうございました。

— アメーバは、モニカを復活させる

(0, \dots, 1, \dots, β_{k})

$(0,\ldots, 1, \ldots, \beta_k)$

x_{i}

$x_i$

x_{k} = 1

$x_k=1$

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$

y = β_{k} \cdot 1 = β_{k}

$y=\beta_k\cdot 1 = \beta_k$

(0, \dots, 1, \dots β_{k})

$(0,\ldots, 1, \ldots \beta_k)$

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$

— アメーバは2015

私はその部分を誤読したようですが、今では明らかです。明確化にも感謝します。

— JohnK

Rでは、「prcomp（cbind（x、y））$回転」よりも「eigen（cov（cbind（x、y）））$ベクトル」を好む場合があります。

— トーマスブラウン

ここで見つかった素朴なGNU Octaveの実装に基づいて、このようなものは機能する可能性があります（塩粒、遅刻）。

tls <- function(A, b){

  n <- ncol(A)
  C <- cbind(A, b)

  V <- svd(C)$v
  VAB <- V[1:n, (n+1):ncol(V)]
  VBB <- V[(n+1):nrow(V), (n+1):ncol(V)]
  return(-VAB/VBB)
}

— カソ
ソース

princomp合計最小二乗回帰ではなく主成分分析を実行しています。私の知る限り、TLSを実行するR関数もパッケージもありません。せいぜいMethCompにデミング回帰があります。
ただし、これは価値がないと思われる提案として扱ってください。

MethCompパッケージのDemingはTLSだと思っていましたが、違いは何ですか？

— mark999

xとyのエラーの比率を指定する必要があります。純粋なTLSはこれを最適化します。