線形回帰のwの閉じた形式の背後にある直観

10

線形回帰におけるwの閉じた形は、次のように書くことができます。

$\hat{w}=(X^TX)^{-1}X^Ty$

この方程式におけるの役割を直感的に説明するにはどうすればよい $(X^TX)^{-1}$ ですか？

— ダーシャク
ソース

2

「直感的に」とはどういう意味ですか？たとえば、ChristensenのPlane Answers in Complex Questionsに示されている内積空間に関しては、驚くほど直感的な説明がありますが、誰もがそのアプローチを理解するわけではありません。別の例として、stats.stackexchange.com/a/62147/919で私の答えに幾何学的な説明がありますが、誰もが幾何学的な関係を「直感的」と見なしているわけではありません。

— whuber

直感的には$（X ^ TX）^ {-1}はどういう意味ですか？なんらかの距離計算なのか、わかりません。

— Darshak

1

それは私がリンクした答えで完全に説明されています。

— whuber

この質問はすでに満足な答えをして、おそらくが、ここにはいない存在math.stackexchange.com/questions/2624986/...

— セクストス・エンペイリコス

5

私はこれらの投稿が特に役に立ったと感じました：

多重線形回帰の最小二乗推定量を導出する方法は？

SVDとPCAの関係。SVDを使用してPCAを実行する方法

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

場合である行列次いで行列定義する突起の列空間に。直感的に、過剰決定の方程式系がありますが、それでもそれを使用して、行を値、近いものにマップする線形マップを定義します。。したがって、特徴の線形結合（の列）として表現できる最も近いものにを送信することで解決します。 $X$ $n \times p$ $X(X^TX)^{-1}X^T$ $X$ $\mathbb{R}^p \rightarrow \mathbb{R}$ $x_i$ $X$ $y_i$ $i\in \{1,\dots,n\}$ $X$ $y$ $X$

解釈に関しては、まだ素晴らしい答えはありません。は基本的にデータセットの共分散行列であると考えることができます。 $(X^TX)^{-1}$ $(X^TX)$

— ジェームズ・マッケオン
ソース

(X^{T} X)

$(X^T X)$ は「散布図」と呼ばれることもあり、共分散行列のスケールアップバージョンです

— JacKeown

4

幾何学的視点

幾何学的視点は、n 次元空間点であるn 次元ベクトルおよびようなものにすることができます。どこ部分空間でもあるベクトルが張る。 $y$ $X\beta$ $V$ $X\hat\beta$ $W$ $x_1, x_2, \cdots, x_m$

2種類の座標

この部分空間について、2つの異なるタイプの座標を想像できます。 $W$

$\boldsymbol{\beta}$ 正規座標空間の座標と同様です。空間のベクトルは、ベクトルの線形結合 $z$ $W$ $\mathbf{x_i}$ $z = β_{1} x_{1} + β_{2} x_{1} + . . . . β_{m} x_{m}$ $z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$
$\boldsymbol{\alpha}$ 定期的な意味での座標ではなく、それらは、部分空間内の点を定義行う。各は、ベクトルへの垂直投影に関連しています。単位ベクトル（簡略化のため）を使用する場合、ベクトルの「座標」は次のように表すことができます。 $W$ $\alpha_i$ $x_i$ $x_i$ $\alpha_i$ $z$

$α_{i} = x_{i}^{T} z$ $\alpha_i = \mathbf{x_i^T} \mathbf{z}$
すべての座標のセットは次のとおりです。

α = X^{T} z

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{z}$

座標と間のマッピング $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

用 "座標"の表現座標から変換なる "座標"に $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$ $\alpha$ $\beta$ $\alpha$

α = X^{T} X β

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{X}\boldsymbol{\beta}$

あなたが見ることができましたどのくらいの各表現として他にプロジェクトを $(\mathbf{X^T} \mathbf{X})_{ij}$ $x_i$ $x_j$

次に、の幾何学的解釈は、ベクトル投影 "座標"から線形座標へのマップとして見ることができます。 $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

β = (X^{T} X)^{- 1} α

$\boldsymbol{\beta} = (\mathbf{X^T} \mathbf{X})^{-1}\boldsymbol{\alpha}$

式の投影"座標"を与えるとにそれらを回す。 $\mathbf{X^Ty}$ $\mathbf{y}$ $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\beta}$

注：の投影"座標"同じであるの投影"座標"として以来。 $\mathbf{y}$ $\mathbf{\hat{y}}$ $(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

— Sextus Empiricus
ソース

トピックstats.stackexchange.com/a/124892/3277の非常によく似たアカウント。

— ttnphns 2018

確かに非常に似ています。私にとってこの見方は非常に新しいものであり、私はそれについて考えるために一晩を費やす必要がありました。私は常に投影の観点から最小二乗回帰を表示しましたが、この観点では、部分直感的な意味を実現しようとしたことがなかったか、またはより間接的な表現で常にそれを確認しました。

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

X^{T} y = X^{T} X β

$X^T y = X^TX\beta$

— Sextus Empiricus

3

単純な線形回帰に慣れていると仮定します：とその解：

y_{i} = α + β x_{i} + ε_{i}

$y_i=\alpha+\beta x_i+\varepsilon_i$

β = \frac{c o v [x_{i}, y_{i}]}{v a r [x_{i}]}

$\beta=\frac{\mathrm{cov}[x_i,y_i]}{\mathrm{var}[x_i]}$

上記の分子にどのように対応し、が分母に対応するかを確認するのは簡単です。マトリックスを扱っているので、順序は重要です。はKxK行列で、はKx1ベクトルです。したがって、次の順序になります。 $X'y$ $X'X$ $X'X$ $X'y$ $(X'X)^{-1}X'y$

— アクサカル
ソース

しかし、そのアナロジー自体は、逆数で前乗算するか後乗算するかを教えてくれません。

— kjetil b halvorsen

@kjetilbhalvorsen、私は操作の順序を

— 決めました

線形回帰のwの閉じた形式の背後にある直観

幾何学的視点

2種類の座標

座標と間のマッピングαα\boldsymbol{\alpha}ββ\boldsymbol{\beta}

座標と間のマッピング $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$