正則化

正則化を実行するには多くの方法があります。たとえば、、、およびノルムベースの正則化です。Friedman Hastie＆Tibsharaniによると、最適な正則化器は問題に依存します。つまり、真のターゲット関数の性質、使用される特定の基底、信号対雑音比、およびサンプルサイズです。 $L_0$ $L_1$ $L_2$

さまざまな正則化方法の方法とパフォーマンスを比較する実証的研究はありますか？

r regression machine-learning regularization

— ラム・アルワリア
ソース

3人の著者はすべてスタンフォードにいます。なぜ彼らに直接尋ねないのか。Rob Tibshiraniは非常に親しみやすく、Jerry Friedmanも同様です。フリードマンは、正則化された回帰に関する多くの独自の研究を行いました。だから彼はより良い選択かもしれません。

— マイケルR.チャーニック、

もちろん私が彼に答えを出したとは言えません。しかし、質問に答えるのに最高の人に彼を向けることは、通常は明確にしようとする通常のコメント以上のもののようです。なぜ情報源に直接行くことができるのに、なぜ人々はいつもここで質問をするのだろうとよく思います。フリードマンがそれに答えることができると私はほぼ確信しています、そして特にそれが彼らの本に書かれた何かについての質問であるとき、情報源に行くことはとても理にかなっています。私はソースに行って答えを得て、それをここに提示できます。

— マイケルR.シェニック

当局は情報源の権威としての地位に怯え、情報源が忙しすぎて（自分の意見では）マイナーで重要でない質問に対処できないと想定し、失礼な「なぜこれで私を困らせているのですか？」回答...あなたもまた、おそらく他の分野の情報源であるならば、情報源に行く方がはるかに簡単です。

— jbowman 2012年

@jbowmanはい。という事は承知しています。しかし、私はTibshiraniとFriedmanを個人的に知っており、Opの恐怖はこれらの作者には根拠がないことを保証したことに注意してください。私は彼だけでなく、他の人を知らないので、私はHastieは言及しなかった、。

— マイケルR. Chernickは、

@chl彼らがサイトに参加するのを現実的に期待することはできないと思います。忙しい教授にとっては、フランクハレルのようないくつかの例外や、おそらくは仮名を使用する他の人にとっては、時間がかかりすぎる。しかし、私は彼らが直接彼らに送られる特定の質問に答えるのに時間がかかると思います。

— Michael R. Chernick

ペナルティ付き線形モデルを考えてみましょう。

$L_0$ $L_1$

$L_1$

$L_2$ $\lambda$ $L_2$

— ドンボ
ソース

L_{0}

$L_0$

L_{0}

$L_0$

@Donbeoの回答へのいくつかの追加

1）L0ノルムは、真の意味でのノルムではありません。これは、ベクトル内のゼロ以外のエントリの数です。この基準は明らかに凸面の基準ではなく、真の意味での基準ではありません。したがって、L0 'norm'のような用語が表示される場合があります。それは組み合わせ問題になり、したがってNP困難です。

2）L1ノルムはスパースソリューションを提供します（LASSOを検索します）。CandesやDonohoなどによる優れた結果があり、真の解が実際にスパースである場合、L1ペナルティ付きメソッドがそれを回復することを示しています。基礎となるソリューションがスパースでない場合、p >> nの場合に基礎となるソリューションを取得できません。なげなわが一貫していることを示す素晴らしい結果があります。

3）L2とL1のペナルティソリューションを組み合わせるZhouやHastieによるElastic netのような方法があります。

— シド
ソース