R-Lasso Regression-リグレッサごとに異なるラムダ

次のことを実行したい：

1）ベータ係数を取得するためのOLS回帰（ペナルティ項なし） ; は、回帰に使用される変数を表します。私はこれをします$b_{j}^{*}$$j$

lm.model = lm(y~ 0 + x)
betas    = coefficients(lm.model)

2）ペナルティ項を伴うLasso回帰。選択基準は、以下によって与えられるベイジアン情報基準（BIC）とする

$$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$$

ここで、は変数/リグレッサ番号、は観測数、はステップ1）で取得した初期ベータを表します。この特定の値の回帰結果を取得したいのですが、これは使用する各リグレッサによって異なります。したがって、3つの変数がある場合、3つの異なる値ます。$j$B * jを λ jをλ $T$$b_{j}^{*}$$\lambda_j$$\lambda_j$

次に、OLS-Lasso最適化問題は

$$\underset{b\epsilon \mathbb{R}^{n} }{min} = \left \{ \sum_{t=1}^{T}(y_{t}-b^{\top} X_{t} )^{2} + T\sum_{j=1}^{m} ( \lambda_{t}|b_{j}| )\right \}$$

Rでlarsまたはglmnetパッケージを使用してこれを行うにはどうすればよいですか？ラムダを指定する方法が見つからず、実行しても正しい結果が得られるかどうか100％わかりません

lars.model <- lars(x,y,type = "lasso", intercept = FALSE)
predict.lars(lars.model, type="coefficients", mode="lambda")

ここでどんな助けにも感謝します。

---

更新：

私は次のコードを使用しました：

fits.cv = cv.glmnet(x,y,type="mse",penalty.factor = pnlty)
lmin    = as.numeric(fits.cv[9]) #lambda.min
fits    = glmnet(x,y, alpha=1, intercept=FALSE, penalty.factor = pnlty)
coef    = coef(fits, s = lmin)

1行目では、指定したペナルティファクター（）との相互検証を使用していますが、これはリグレッサごとに異なります。2行目は、fits.cvの「lambda.min」を選択します。これは、最小平均交差検定誤差を与えるラムダです。3行目は、データに対して投げ縄近似（）を実行します。ここでも、ペナルティファクターを使用しました。4 行目は、2行目で選択された「最適な」属する当てはめから係数を抽出します。λ$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$alpha=1$\lambda$$\lambda$

これで、最小化問題の最適解を表すリグレッサのベータ係数が得られました

$$\underset{b\epsilon \mathbb{R}^{n} }{min} = \left \{ \sum_{t=1}^{T}(y_{t}-b^{\top} X_{t} )^{2} + T\sum_{j=1}^{m} ( \lambda_{t}|b_{j}| )\right \}$$

ペナルティ係数ます。最適な係数のセットは、おそらく最初に使用したリグレッサのサブセットです。これは、使用されたリグレッサの数を削減するLassoメソッドの結果です。$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$

私の理解とコードは正しいですか？

glmnetドキュメント（?glmnet）から、収縮差を実行できることがわかります。これにより、少なくともOPの質問への回答の一部が得られます。

penalty.factor：個別のペナルティファクターを各係数に適用できます。これは、lambda収縮差を許容するために増加する数値です。一部の変数では0になる可能性があり、これは収縮がないことを意味し、その変数は常にモデルに含まれます。すべての変数のデフォルトは1です（およびにリストされている変数の暗黙的な無限大exclude）。注：ペナルティファクターは内部で再スケーリングされて合計がnvarsになり、lambdaシーケンスはこの変更を反映します。

質問に完全に答えるために、私はあなたが達成したいことに応じて、あなたが利用できる2つのアプローチがあると思います。

1. あなたの質問は、差分縮小を適用glmnetし、特定の値係数を取得する方法です。供給STの一部の値が任意の値での収縮差1つの達成せません。それぞれの収縮収縮STを達成するためにある私たちはいくつかの代数を行う必要があります。してみましょうペナルティ因子であることに供給されるもの、。ドキュメントから、これらの値が st係数で再スケーリングされていることが。つまり、λ B J φ J = ログ$\lambda$penalty.factor$\lambda$$b_j$ϕjbjCϕj=ϕ ′ j m=C∑ m j = 1 log$\phi_j= \frac{\log T}{T|b_j^*|}$$\phi_j$$b_j$penalty.factor$C\phi_j=\phi^\prime_j$φ ' J φJCφ ' J λ=$m=C\sum_{j=1}^m \frac{\log T}{T|b^*_j|}$$\phi_j^\prime$以下の最適化式のを置き換えます。したがって、解き、に値をして、係数を抽出します。の使用をお勧めします。$\phi_j$$C$$\phi_j^\prime$glmnet$\lambda=1$coef(model, s=1, exact=T)

2. 2つ目は、「標準」の使用方法です。サンプル外のMSEを最小限に抑えるように、を選択するために分割交差検証をglmnet繰り返し実行します。これについては、以下で詳しく説明します。CVを使用してサンプル外の MSE をチェックする理由は、サンプル内の MSEがに対して常に最小化されるためです。つまり、は通常のMLEです。を変化させながらCVを使用すると、サンプル外のデータに対するモデルのパフォーマンスを推定し、最適な（特定の意味で）を選択できます。λ λ = 0 B λ $k$$\lambda$$\lambda=0$$b$$\lambda$$\lambda$

このglmnet呼び出しは指定していません（パフォーマンス上の理由から、デフォルトで軌跡全体を計算するためです）。値の係数を返します。ただし、提供するの選択に関係なく、結果は、モデルを適合させるために呼び出しで適用した微分ペナルティを反映します。λ λ $\lambda$$\lambda$coef(fits,s=something)$\lambda$something$\lambda$

最適値を選択する標準的な方法は、ではなくを使用することです。交差検証は、サンプルの誤差を最小限に抑える収縮量を選択するために使用されますが、の仕様は、重み付けスキームに従って、一部の機能を他の機能よりも大きく収縮させます。$\lambda$cv.glmnetglmnetpenalty.factor

この手順は最適化します

$$\underset{b\in \mathbb{R}^{m} }{\min} \sum_{t=1}^{T}(y_{t}-b^{\top} X_{t} )^{2} + \lambda \sum_{j=1}^{m} ( \phi_{j}|b_{j}| )$$

ここで、は機能（引数で指定したもの）のペナルティファクターです。（これはあなたの最適化の表現とは若干異なります。ノート添字の一部が異なっていること。）。なお項は、すべての機能で同じであるので、いくつかの機能がより他よりも縮小していることを唯一の方法は、を介して行われ。重要なことに、とは同じではありません。はスカラー、はベクトルです。この式では、は固定されている/既知であると想定されています。つまり、最適化では、最適なではなく、最適なが選択されますJ T H λ φ J λ φ λ φ λ bは$\phi_j$$j^{th}$penalty.factor$\lambda$$\phi_j$$\lambda$$\phi$$\lambda$$\phi$$\lambda$$b$$\lambda$。

これは基本的にglmnet私が理解している動機です。ペナルティ付き回帰を使用して、サンプル外のパフォーマンスについて過度に楽観的でない回帰モデルを推定します。これがあなたの目標であれば、おそらくこれはあなたにとって正しい方法です。