回帰係数を計算するとき、説明変数の順序は重要ですか？

最初は順序は関係ないと思っていましたが、重回帰係数を計算するためのグラムシュミットの直交化プロセスについて読みましたが、今は考え直しています。

gram-schmidtプロセスによれば、説明変数が他の変数の中で後でインデックス付けされると、その前の変数の残差ベクトルが減算されるため、その残差ベクトルは小さくなります。その結果、説明変数の回帰係数も小さくなります。

それが本当である場合、問題の変数の残差ベクトルは、より少ない残差ベクトルが減算されるため、より早くインデックス付けされた場合、より大きくなります。これは、回帰係数も大きくなることを意味します。

わかりましたので、質問を明確にするように求められました。だから私は最初に私を混乱させたテキストからスクリーンショットを投稿しました。はい、ここに行きます。

私の理解では、回帰係数を計算するには少なくとも 2つのオプションがあります。最初のオプションは、下のスクリーンショットで（3.6）と示されています。

最初の方法

次に、2番目のオプションを示します（複数のスクリーンショットを使用する必要がありました）。

第二の方法

ここに画像の説明を入力してください

私が何かを誤解していない限り（これは間違いなく可能です）、2番目のオプションでは順序が重要なようです。最初のオプションでは重要ですか？なぜですか？または、私の参照フレームがめちゃくちゃになっていて、これが有効な質問でさえないのですか？また、これは何らかの形で平方Iの合計とタイプIIの平方和に関連していますか？

事前に感謝します、私はとても混乱しています！

regression multiple-regression regression-coefficients

— ライアン・ゾッティ
ソース

係数の計算方法を正確に説明してください。グラムシュミットの直交化について知っていることと、それを回帰問題に適用する方法から、gsプロシージャを使用することで、元の係数ではなく回帰の適合性を得ることができると推測できます。回帰適合は列の空間への投影であることに注意してください。列を直交化すると、列にまたがる空間の直交基底が得られるため、適合はこの基底の線形結合と元の列の線形結合になります。それは同じになります

— ...-mpiktas

しかし、係数は異なります。これは完全に正常です。

— mpiktas

「統計学習の要素」で、グラムシュミットプロセスを使用して計算された係数は、従来のプロセスを使用して計算された係数と同じであると思ったため、混乱していると思います：B =（X'X）^- 1 X'y。

— ライアンゾッティ

手順について説明している本からの抜粋は次のとおりです。「単純な回帰の2つのアプリケーションの結果として、[係数の]推定値を表示できます。ステップは次のとおりです。 x − x̄1; 2.残差zでyを回帰して係数βˆ1を与えるこのレシピは、アルゴリズム3.1に示すように、p入力の場合に一般化されます。ステップz0、…、zj-1の入力2は直交しているため、そこで計算される単純な回帰係数は、実際には多重回帰係数でもあります。

— ライアンゾッティ

コピーしてここのコメントセクションに貼り付けると少し面倒になるので、おそらくソースを直接見るのが最善です。スタンフォードのウェブサイトwww-stat.stanford.edu/~tibs/ElemStatLearnから無料でダウンロードできる「統計学習の要素」の53〜54ページです。

— ライアンゾッティ

回答:

混乱はもう少し単純なものから生じているのではないかと思いますが、いくつかの関連事項を検討する良い機会を提供します。

テキストがあることに注意していないと主張し、すべての回帰係数のは、よう連続した残差ベクトルを経由して計算することができ $\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$ むしろことを最後の、この方法で計算することができます！

{\hat{β}}_{i} \overset{?}{=} \frac{⟨ y, z_{i} ⟩}{‖ z_{i} ‖^{2}},

$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$

{\hat{β}}_{p}

$\bhat_p$

連続直交化スキーム（グラム-シュミット直交化の形式）は、（ほぼ）ような行列とペアを生成します。 $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$ $\G$ ここで、であり正規直交列とを有するである上三角。アルゴリズムは列のノルムまで指定するだけなので、これは一般に1ではありませんが、列を正規化し、座標行列に対応する簡単な調整を行うことで単位ノルムにすることができます。。

X = Z G,

$\m X = \Z \G \>,$

Z

$\Z$

n \times p

$n \times p$

G = (g_{i j})

$\G = (g_{ij})$

p \times p

$p \times p$

Z

$\Z$

G

$\G$

ことは、当然のことながら、仮定ランク有する、ユニークな最小二乗解は、ベクトルであるシステム解き $\m X \in \mathbb R^{n \times p}$ $p \leq n$ $\bhat$

X^{T} X \hat{β} = X^{T} y .

$\m X^T \m X \bhat = \m X^T \m y \>.$

代入および使用（構成によって）、我々 GET $\m X = \Z \G$ $\Z^T \Z = \m I$ に相当する

G^{T} G \hat{β} = G^{T} Z^{T} y,

$\G^T \G \bhat = \G^T \Z^T \m y \> ,$

G \hat{β} = Z^{T} y .

$\G \bhat = \Z^T \m y \>.$

次に、線形システムの最後の行に集中します。最後の行のゼロ以外の要素はです。そこで、我々が得ること $\G$ $g_{pp}$

g_{p p} {\hat{β}}_{p} = ⟨ y, z_{p} ⟩ .

$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$

g_{p p} = ‖ z_{p} ‖

$g_{pp} = \|\z_p\|$

z_{i}

$\z_i$

見つけるには $\bhat_i$ $(p-1)$

g_{p - 1, p - 1} {\hat{β}}_{p - 1} + g_{p - 1, p} {\hat{β}}_{p} = ⟨ z_{p - 1}, y ⟩,

$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$

{\hat{β}}_{p - 1} = g_{p - 1, p - 1}^{- 1} ⟨ z_{p - 1}, y ⟩ - g_{p - 1, p - 1}^{- 1} g_{p - 1, p} {\hat{β}}_{p} .

$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$

g_{i i}

$g_{ii}$

{\hat{β}}_{i}

$\bhat_i$

$\m X$ $\m X^{(r)}$ $r$ $\bhat_r$ $\bhat_r$ $\m y$ $\m x_r$

一般的なQR分解

$\m X$

X = Q R,

$\m X = \m Q \m R \>,$

X

$\m X$

\hat{β}

$\bhat$

R^{T} R \hat{β} = R^{T} Q^{T} y,

$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$

R \hat{β} = Q^{T} y .

$\m R \bhat = \m Q^T \m y \> .$

R

$\m R$

{\hat{β}}_{p}

$\bhat_p$

$\m X$ $\hat{\m y}$

— 枢機卿
ソース

$\beta_j$ $\beta_p$

ESLの演習3.4

$X$

溶液

$X$

X = Z Γ,

$X = Z \Gamma,$

Z

$Z$

z_{j}

$z_j$

Γ

$\Gamma$

γ_{i j} = \frac{⟨ z_{i}, x_{j} ⟩}{‖ z_{i} ‖^{2}}

$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$

x_{j} = z_{j} + \sum_{k = 0}^{j - 1} γ_{k j} z_{k} .

$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$

$QR$ $X = QR$ $Q$ $R$ $Q = Z D^{-1}$ $R = D\Gamma$ $D$ $D_{jj} = \| z_j \|$

$\hat \beta$

(X^{T} X) \hat{β} = X^{T} y .

$(X^T X) \hat \beta = X^T y.$

Q R

$QR$

\begin{aligned} (R^{T} Q^{T}) (Q R) \hat{β} & = R^{T} Q^{T} y \\ R \hat{β} & = Q^{T} y \end{aligned}

$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$

$R$

\begin{aligned} R_{p p} {\hat{β}}_{p} & = ⟨ q_{p}, y ⟩ \\ ‖ z_{p} ‖ {\hat{β}}_{p} & = ‖ z_{p} ‖^{- 1} ⟨ z_{p}, y ⟩ \\ {\hat{β}}_{p} & = \frac{⟨ z_{p}, y ⟩}{‖ z_{p} ‖^{2}} \end{aligned}

$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$

{\hat{β}}_{j}

$\hat \beta_j$

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

\begin{aligned} R_{p - 1, p - 1} {\hat{β}}_{p - 1} + R_{p - 1, p} {\hat{β}}_{p} & = ⟨ q_{p - 1}, y ⟩ \\ ‖ z_{p - 1} ‖ {\hat{β}}_{p - 1} + ‖ z_{p - 1} ‖ γ_{p - 1, p} {\hat{β}}_{p} & = ‖ z_{p - 1} ‖^{- 1} ⟨ z_{p - 1}, y ⟩ \end{aligned}

$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

β_{j}

$\beta_j$

— アンドリュー・タロック
ソース

試して比較してみませんか？回帰係数のセットを近似し、順序を変更して再度近似し、それらが異なるかどうかを確認します（可能な丸め誤差以外）。

@mpiktasが指摘しているように、あなたが何をしているのかは明確ではありません。

私はGSを使って解決するのを見ることができます $B$ 最小二乗方程式で $(x'x)B=(x'y)$ 。しかし、その後、あなたは上のGSを行うことになります $(x'x)$ 元のデータではなく行列。この場合、係数は同じである必要があります（可能な丸め誤差以外）。

Another approach of GS in regression is to apply GS to the predictor variables to eliminate colinearity between them. Then the orthogonalized variables are used as the predictors. In this case order matters and the coefficients will be different because the interpretation of the coefficients depends on the order. Consider 2 predictors $x_1$ and $x_2$ and do GS on them in that order then use as predictors. In that case the first coefficient (after the intercept) shows the effect of $x_1$ on $y$ by itself and the second coefficient is the effect of $x_2$ on $y$ after adjusting for $x_1$ . Now if you reverse the order of the x's then the first coefficient shows the effect of $x_2$ on $y$ by itself (ignoring $x_1$ rather than adjusting for it) and the second is the effect of $x_1$ adjusting for $x_2$ .

— Greg Snow
ソース

I think your last paragraph is probably closest to the source of my confusion -- GS does make the order matter. That's what I thought. I'm still a bit confused, though, because the book I'm reading, called: "The Elements of Statistical Learning" (a Stanford publication that's freely available: www-stat.stanford.edu/~tibs/ElemStatLearn) seems to suggest that GS is equivalent to the standard approach for calculating the coefficients; that is, B = (X'X)^-1 X'y.

— Ryan Zotti

And part of what you say confuses me a bit too: "I can see using GS to solve for B in the least squares equation (x′x)^−1 B=(x′y). But then you would be doing the GS on the (x′x) matrix, not the original data." I thought the x'x matrix contained the original data?... At least that's what Elements of Statistical Learning says. It says the x in the x'x is an N by p matrix where N is the number of inputs (observations) and p is the number of dimensions.

— Ryan Zotti

If GS is not the standard procedure for calculating the coefficients, then how is collinearity typically treated? How is redundancy (collinearity) typically distributed among the x's? Doesn't collinearity traditionally make the coefficients unstable? Then wouldn't that suggest that the GS process is the standard process? Because the GS process also makes the coefficients unstable -- a smaller residual vector makes the coefficient unstable.

— Ryan Zotti

At least that's what the text says, "If xp is highly correlated with some of the other xk’s, the residual vector zp will be close to zero, and from (3.28) the coefficient βˆp will be very unstable."

— Ryan Zotti

Note that GS is a form of QR decomposition.

— cardinal