LASSO変数の選択後にOLSを実行するのはどういう意味ですか？

20

最近、応用計量経済学の文献で、特徴選択の問題を扱うとき、選択された変数を使用してLASSOに続いてOLS回帰を実行することは珍しくありません。

このような手順の有効性をどのように認定できるのかと思っていました。省略された変数などのトラブルを引き起こしますか？それがより効率的であることを示す証拠、または結果がより解釈可能ですか？

関連するディスカッションを次に示します。

LASSOを使用した変数選択

Lasso / Randomを使用した変数選択後のツリーの使用

指摘したように、そのような手順が一般的に正しくない場合、なぜそんなに多くの研究がまだあるのですか？LASSO推定器のいくつかの不安な性質と、OLSに対する人々の好みのために、これは単なる経験則、妥協ソリューションであると言えますか？

— ズリウ
ソース

LASSOの実行後に「OLS回帰」を行うことの意味を説明していただけますか？特に、このOLSステップはLASSOが推定していないことを推定しようとしていますか？

— whuber

2

このテーマに関する最近のワーキングペーパーがいくつかあります。多くの人は、有効な変数のセットがまばらであるという仮定を必要とするようです。その仮定が成り立たない場合、yes省略された変数バイアスが存在します。そして、人々はサンプルの限界効果から公平なものとしてcoefを解釈したいので、olsが好きです。計量経済学はそのパラダイムにかなり詰まっています。

— generic_user

4

では、この最近のLASSOブック（無料のオンライン）、セクションこの問題に対処するために11.4が表示されます。私はこれを詳細に読んでいないが、言うことによって導入端は、「[LASSO推定]を考えると正しくのサポート回復していること、我々は推定することができます非常によく...このサブセットに制限された通常の最小二乗回帰を実行するだけです。」

\hat{β}

$\hat{\beta}$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

— GeoMatt22 16

12

数日前に同様の質問があり、関連する参照がありました：

Belloni、A.、Chernozhukov、V。、およびHansen、C.（2014）「高次元コントロール間の選択後の治療効果に関する推論」、経済学のレビュー、81（2）、pp。608-50（link）

少なくとも私にとっては、この比較的単純な裏付けの証拠がかなり精巧であるため、この論文はかなり読みにくいものです。ようなモデルの推定に興味がある場合

y_{i} = α T_{i} + X_{i}^{'} β + ϵ_{i}

$y_i = \alpha T_i + X_i'\beta + \epsilon_i$

ここで、は結果、は関心のある治療効果、は潜在的なコントロールのベクトルです。ターゲットパラメータはです。結果の変動の大部分が治療と疎なコントロールのセットによって説明されると仮定して、Belloni et al。（2014）正しい点推定値と有効な信頼区間を提供する二重ロバスト選択法を開発します。ただし、このスパース性の仮定は重要です。 $y_i$ $T_i$ $X_i$ $\alpha$

もしのいくつかの重要な予測因子が含ましかし、あなたは、彼らが（単一の変数、その高次の多項式、または他の変数との相互作用のいずれか）であるかわからない、あなたは3段階の選択手順を実行することができます。 $X_i$ $y_i$

後退上、その正方形、および相互作用、およびLASSOを使用しての重要な予測因子を選択 $y_i$ $X_i$
$T_i$ $X_i$
回帰する $y_i$ $T_i$

彼らはなぜこれが機能するのか、なぜこの方法から正しい信頼区間などを得るのかについての証拠を提供します。また、上記の回帰でLASSO選択のみを実行し、治療と選択した変数の結果を回帰すると、Björnが既に述べたように、間違ったポイント推定値と誤った信頼区間が得られることも示しています。

これを行う目的は2つあります。変数選択が直観または理論によって導かれた初期モデルを二重ロバスト選択モデルと比較すると、最初のモデルがどれだけ優れているかがわかります。おそらく、最初のモデルがいくつかの重要な二乗項または相互作用項を忘れたため、関数形式の指定が間違っているか、変数が省略されている可能性があります。第二に、ベローニ等。（2014）メソッドは、冗長なリグレッサーが手順でペナルティを免れるため、ターゲットパラメーターの推論を改善できます。

— アンディ
ソース

「正しい」ポイント推定値？

— リチャードハーディ

3

変数選択を実行してから分析を再実行すると、変数選択が発生せず、選択したモデルが最初から意図されていたように、通常、誇張された効果サイズ、無効なp値、公称カバレッジを下回る信頼区間につながります。おそらく、サンプルサイズが非常に大きく、いくつかの巨大な効果と多くのヌル効果がある場合、LASSO + OLSはこれによってそれほど深刻な影響を受けないかもしれませんが、それ以外は妥当な正当性を見ることができません。見積もりもうまくいくはずです。

— ビョルン
ソース

1

しかし、なぜ2番目のモデルは、変数の選択が発生していないかのようにゼロから開始するのでしょうか？LASSOは、予測力が最も高い説明変数を選択しませんか？ところで、私は再びLASSOのスパース行列変数をglmに詰め込むことを考えました。LASSO自体が回帰であることを理解しました。

— イスラム教