リッジとLASSOは共分散構造を与えられましたか？

Elements of Statistical Learning（Hastie、Tibshrani＆Friedman）の第3章を読んだ後、共分散構造が与えられた場合、この質問のタイトルに引用された有名な収縮方法を実装できるかどうか、つまり（）量

(\vec{y} - X \vec{β})^{T} V^{- 1} (\vec{y} - X \vec{β}) + λ f (β), (1)

$(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1)$

代わりに、通常のこれは主に、私の特定のアプリケーションでは、分散が異なるという事実によって動機付けられました

(\vec{y} - X \vec{β}) (\vec{y} - X \vec{β}) + λ f (β) . (2)

$(\vec{y}-X\vec{\beta})(\vec{y}-X\vec{\beta})+\lambda f(\beta).\ \ \ \ \ \ \ \ \ \ \ \ (2)$

\vec{y}

$\vec{y}$ （場合によっては推定できる共分散構造）もあり、それらを回帰に含めたいと思います。私はリッジ回帰のためにそれを行いました：少なくともPython / Cでの実装では、係数が追跡するパスに重要な違いがあることがわかります。これは、両方の場合の交差検証曲線を比較するときにも顕著です。

現在、最小角度回帰を介してLASSOを実装する準備をしていましたが、それを行うには、ではなく最小化しても、そのすべての優れたプロパティがまだ有効であることを最初に証明する必要があります。これまでのところ、実際にこれを行う作業は見たことがありませんが、「統計を知らない人は統計を再発見する運命にある」（たとえば、Brad Efron））、それが私が最初にここで尋ねている理由です（私が統計学文献の比較的新しい人であることを前提とします）：これはこれらのモデルのどこかですでに行われていますか？Rに何らかの方法で実装されていますか？ $(1)$ $(2)$ $(1)$ 代わりに、Rのlm.ridgeコードに実装されているものはどれですか？ $(2)$

ご回答ありがとうございます！

lasso ridge-regression

— ネストル
ソース

以前の回答は、en.wikipedia.org / wiki / Generalized_least_squaresでも詳細が報告されています。このソリューションは、実現可能な一般化最小二乗（FGLS）アプローチを使用して実装できます

— Nicola Jean

$V^{-1} = L^TL$

(y - X β)^{T} V^{- 1} (y - X β) = (L y - L X β)^{T} (L y - L X β)

$(y - X\beta)^T V^{-1} (y - X\beta) = (Ly - LX\beta)^T (Ly - LX\beta)$

L y

$Ly$

L X

$LX$

— NRH
ソース