正則化法に関する最も重要な「初期の論文」は何ですか？

いくつかの回答で、CrossValidatedユーザーがOPがLasso、Ridge、Elastic Netに関する初期の論文を見つけることを提案しているのを見てきました。

後世のために、Lasso、Ridge、Elastic Netの優れた作品は何ですか？

あなたは単に参照を探しているので、ここにリストがあります：

1. Tikhonov、Andrey Nikolayevich（1943）。"Обустойчивостиобратныхзадач" [逆問題の安定性について]。Doklady Akademii Nauk SSSR。39（5）：195–198。
2. Tikhonov、AN（1963）。「Орешениинекорректнопоставленныхзадачиметодерегуляризации」。Doklady Akademii Nauk SSSR。151：501–504 ..「誤って定式化された問題の解決と正則化方法」に翻訳されています。ソビエト数学。4：1035-1038。
3. Hoerl AE、1962年、リッジ分析の回帰問題への適用、Chemical Engineering Progress、1958年、54–59。
4. アーサーE.ホエル; ロバート・W・ケナード（1970）。「リッジ回帰：非直交問題のバイアス推定」。テクノメトリックス。12（1）：55–67。doi：10.2307 / 1267351。https://pdfs.semanticscholar.org/910e/d31ef5532dcbcf0bd01a980b1f79b9086fca.pdf
5. ティブシラニ、ロバート（1996）。「回帰の縮小となげなわによる選択」（PostScript）。王立統計学会誌、シリーズB. 58（1）：267–288。MR 1379242 https://statweb.stanford.edu/~tibs/lasso/lasso.pdf
6. Zou、H.およびHastie、T.（2005）。弾性ネットによる正則化と変数選択。王立統計学会誌、シリーズB. 67：pp。301–320。https://web.stanford.edu/~hastie/Papers/B67.2%20%282005%29%20301-320%20Zou%20&%20Hastie.pdf

歴史的に重要な論文は、推定量にバイアスをかけると通常の線形モデルの推定が改善されることを最初に示したと私は信じています。

• スタイン、C、1956年1月。多変量正規分布の平均に対する通常の推定量の許容性。数学統計と確率に関する第3回バークレーシンポジウムの議事録（Vol。1、No。399、pp。197-206）。

SCADとMCPを含む、より現代的で重要なペナルティがいくつかあります。

• Fan、J.およびLi、R.、2001。非凹型ペナルティ付き尤度とそのオラクルプロパティによる変数の選択。Journal of the American Statistics Association、96（456）、pp.1348-1360。
• Zhang、CH、2010。ミニマックス凹型ペナルティの下でのほぼ不偏の変数選択。統計年報、38（2）、pp.894-942。

そして、これらの方法を使用して推定値を取得するための非常に優れたアルゴリズムについてさらにいくつか：

• Breheny、P.およびHuang、J.、2011。非凸ペナルティ回帰のための降下アルゴリズムを調整し、生物学的特徴選択に応用。応用統計の記録、5（1）、p.232。
• Mazumder、R。、フリードマン、JHおよびHastie、T.、2011。スパースネット：非凸ペナルティ付きの降下を調整します。Journal of the American Statistical Association、106（495）、pp.1125-1138。

LASSOに非常に密接に関連しているDantzigセレクターに関するこのペーパーも一見の価値がありますが、（私は信じます）かなり強力なアイデアである統計的推定量のoracle不等式のアイデアを紹介します

• Candes、E.およびTao、T.、2007。Dantzigセレクター：pがnよりはるかに大きい場合の統計的推定。年報の統計、p​​p.2313-2351。