最小角度回帰は、相関関係を単調に減少させ続けますか？

最小角度回帰（LAR）の問題を解決しようとしています。これが問題である3.23ページ上の97のHastieら、統計的学習、第二の要素。ed。（5回目の印刷）。

すべての変数と応答が平均ゼロと標準偏差1を持つ回帰問題を考えてみましょう。また、各変数が応答と同一の絶対相関を持つと仮定します。

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

ましょうの最小二乗係数であるにおよびlet のための。 $\hat{\beta}$ $\mathbf{y}$ $\mathbf{X}$ $\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$ $\alpha\in[0,1]$

私はそれを示すように求められますと私はそれに問題があります。これは基本的に、各と残差との相関が向かって進んでも大きさが等しいことを示していることに注意してください。

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ, j = 1, . . ., p

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$

x_{j}

$x_j$

u

$u$

また、相関関係が次の値に等しいことを示す方法もわかりません。

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

どんなポインタでも大歓迎です！

— ベルモント
ソース

@ベルモント、

？あなたの問題についてより多くの背景を提供できますか？たとえば、LARの標準的なプロパティを持つ記事へのリンクは、非常に役立ちます。

u (α)

$u(\alpha)$

— mpiktas

@Belmont、これはHastieらの問題、Elements of Statistical Learning、2番目のようです。ed。これは宿題ですか？もしそうなら、あなたはそのタグを追加するかもしれません。

— 枢機卿、

@カーディナルが完全な答えを出した今、@ベルモントは、将来の参照のために、LARが実際に何であるかを指定できますか？答えから判断すると、これはいくつかの初期制約が与えられた場合の最小二乗回帰の積の標準的な操作です。重大な理由がない限り、特別な名前を付けるべきではありません。

— mpiktas

@mpiktas、これは段階的なアルゴリズムであるため、変数が正則化パスでモデルに出入りするたびに、

のサイズ（つまり、カーディナリティ/ディメンション）がそれぞれ拡大または縮小し、「新しい」LS推定が現在「アクティブ」な変数。凸型最適化問題である投げ縄の場合、手順は基本的にKKT条件の特殊な構造を利用して非常に効率的な解を得ています。IRLSとハイネ・ボレルに基づい例えば、ロジスティック回帰、一般化にもあります（無収束有限を証明するためには、手順の。。）

β

$\beta$

— 基数

@Belmont -1私は最近Hastieの本を購入したので、これはその演習であることを確認できます。したがって、私はあなたに大きな-1を与えています。あなたはすべての定義を与えることすらできないので、私は参照を与えることについてさえ話していません。

— mpiktas

これは、Hastie et al。、Elements of Statistical Learning、2番目の97ページの問題3.23 です。ed。（5回目の印刷）。

この問題の鍵は、通常の最小二乗法（つまり、線形回帰）、特に近似値と残差の直交性をよく理解することです。

$X$ $n \times p$ $y$ $\beta$ $X$ $\beta$ $\hat{\beta} = (X^T X)^{-1} X^T y$ $\hat{y} = X (X^T X)^{-1} X^T y$ $\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$ $X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

$x_j$ $x_j$ $j$ $X$

$\frac{1}{N} \langle x_j, x_j \rangle = 1$ $j$ $\frac{1}{N} \langle y, y \rangle = 1$
$\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ $1_p$ $p$
$\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ $j$

$\langle x_j, y - \hat{y} \rangle = 0$ $j$

相関関係は結ばれています

$u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$

⟨ x_{j}, y - u (a) ⟩ = ⟨ x_{j}, (1 - α) y + α y - α \hat{y} ⟩ = (1 - α) ⟨ x_{j}, y ⟩ + α ⟨ x_{j}, y - \hat{y} ⟩,

$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ,

$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$

{\hat{ρ}}_{j} (α) = \frac{\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ |}{\sqrt{\frac{1}{N} ⟨ x_{j}, x_{j} ⟩} \sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}} = \frac{(1 - α) λ}{\sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}}

$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$

$j$ $x_j$ $y$

$\alpha$ $p$

（絶対）相関の明示的な形式

⟨ y - u (α), y - u (α) ⟩ = ⟨ (1 - α) y + α y - u (α), (1 - α) y + α y - u (α) ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$

$u(\alpha) = \alpha \hat{y}$

⟨ y - u (α), y - u (α) ⟩ = (1 - α)^{2} ⟨ y, y ⟩ + 2 α (1 - α) ⟨ y, y - \hat{y} ⟩ + α^{2} ⟨ y - \hat{y}, y - \hat{y} ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$

それを観察する

$\langle y, y \rangle = N$
$\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$
$\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$

これをすべてまとめると、

{\hat{ρ}}_{j} (α) = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} + \frac{α (2 - α)}{N} R S S}} = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} (1 - \frac{R S S}{N}) + \frac{1}{N} R S S}}

$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$

$1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$ $\hat{\rho}_j(\alpha)$ $\alpha$ $\hat{\rho}_j(\alpha) \downarrow 0$ $\alpha \uparrow 1$

エピローグ：ここのアイデアに集中してください。本当に一つしかない。直交性の補題は、私たちのために、ほぼすべての作業を行います。残りは、代数、表記法、そしてこれら最後の2つを機能させる能力です。

— 枢機卿
ソース

@ cardinal、+ 1。答えは質問よりもはるかに優れています。

— mpiktas

@ cardinal、amazonまたは他のサイトへのリンクを変更したい場合があります。本全体にリンクすると、著作権に関する問題が発生する可能性があると思います。

— mpiktas

@mpiktas、いや。著作権の問題はありません。それは本の公式ウェブサイトです。著者はPDFをオンラインで自由に利用できるようにするためにSpringerから許可を得ました。（サイトへのこの影響に関する注記を参照してください。）彼らは、Stephen Boydと彼のConvex Optimizationテキストからアイデアを得たと思います。うまくいけば、このような傾向が今後数年間で勢いを取り戻すでしょう。楽しい！

— 枢機卿、

@cardinal、すごい感謝！それは著者からの寛大な力です。

— mpiktas

@mpiktas、それは統計のSpringerシリーズで断然最も人気のある本です。それはiPadでよさそうだ。それを思い出す---ボイドのテキストもそれにダウンロードする必要があります。乾杯。

— 枢機卿