L1正則化による回帰はLassoと同じであり、L2正則化による回帰はリッジ回帰と同じですか？そして、「投げ縄」の書き方は？

私は、特にAndrew Ngの機械学習コースを通じて機械学習を学習するソフトウェアエンジニアです。正則化で線形回帰を研究していると、混乱する用語が見つかりました。

L1正則化またはL2正則化による回帰
ラソ
リッジ回帰

だから私の質問：

L1正則化による回帰はLASSOとまったく同じですか？
L2正則化による回帰は、リッジ回帰とまったく同じですか？
「LASSO」は書面でどのように使用されますか？それは「LASSO回帰」でしょうか？「投げ縄がより適切である」などの使用法を見てきました。

上記の1と2の答えが「はい」の場合、なぜこれら2つの用語に異なる名前があるのですか？「L1」と「L2」はコンピューターサイエンス/数学から、「LASSO」と「リッジ」は統計から来ていますか？

これらの用語の使用は、次のような投稿を見たときに混乱を招きます。

「L1とL2の正則化の違いは何ですか？」（quora.com）

「なげなわとリッジのどちらを使用すべきですか？」（stats.stackexchange.com）

— stackoverflowuser2010
ソース

私は遅れて返信していますが。線形、リッジ、および投げ縄回帰に関するこの包括的な初心者向けガイドは、初心者がこれらの用語を明確に理解するのに役立ちます。こちらをご覧ください

— 学習者

はい。
はい。
LASSOは実際には頭字語（最小絶対縮小および選択演算子）であるため、大文字にする必要がありますが、現代の執筆はMad Maxの字句に相当します。一方、アメーバは、LASSOという用語を生み出した統計学者でさえ、現在は小文字のレンダリングを使用していると書いています（Hastie、Tibshirani、Wainwright、Statistical Learning with Sparsity））。スイッチの動機について推測することしかできません。アカデミックプレス向けに執筆している場合は、通常、この種のスタイルガイドが用意されています。もしあなたがこのフォーラムで書いているなら、どちらでも良いです、そして私は誰も本当に気にかけているとは思いません。

$L$ $L^p$ $p>0$

‖ x ‖_{p} = (| x_{1} |^{p} + | x_{2} |^{p} + . . . + | x_{n} |^{p})^{\frac{1}{p}}

$\|x\|_p=(|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac{1}{p}}$

p \geq 1

$p\ge 1$

0 < p < 1

$0<p<1$ は三角形の不等式を満たさないため、ほとんどの定義では距離ではありません。

リッジとLASSOの接続がいつ実現したかはわかりません。

複数の名前がある理由については、これらのメソッドが異なる場所で異なる時期に開発されたということだけです。統計の一般的なテーマは、概念が複数の名前を持つことが多いことです。概念は、それが独立して発見されたサブフィールドごとに1つです（カーネル関数vs共分散関数、ガウス過程回帰vsクリギング、AUC vs $c$ -統計）。リッジ回帰はおそらくTikhonov正則化と呼ばれるべきです。なぜなら、彼はこの方法に対する最古の主張を持っているからです。一方、LASSOは1996年に導入されたばかりで、Tikhonovの「リッジ」方式よりもはるかに遅れていました。

— シコラックス、モニカを復職させる
ソース

+1。スパースの教科書によるごく最近の統計学習では、Hastie、Tibshirani、Wainwrightはすべて小文字の「なげなわ」をどこでも使用し、次のようにも書きます（8ページの脚注）。比、的な意味では、この方法はモデルの係数を「ラッソ」します。元のなげなわ論文（Tibshirani 1996）では、「なげなわ」という名前は「Least Absolute」の頭字語としても導入されました。選択と収縮演算子「」（@ stackoverflowuser2010にCC。）。

— アメーバは回復モニカ言う

And they continue: "Pronunciation: in the US “lasso” tends to be pronounced “lass-oh” (oh as in goat), while in the UK “lass-oo.” In the OED (2nd edition, 1965): “lasso is pronounced lasoo by those who use it, and by most English people too.”" :-)

— amoeba says Reinstate Monica

(+1) As acronyms proper (those abbreviations pronounced as words) gain currency their capitalization tends to go by the board. It's been a while since I've seen 'RADAR' or 'LASER'.

— Scortchi - Reinstate Monica

@Scortchi SCUBAも。その間、あたかも頭字語であるかのようにSTATAとMATLABを書いている人々がいます。

— シャドウトーカー

@ssdecontrol：「ANOVA」は「AnOVa」にする必要がありますか？

— Scortchi -復活モニカ