L2ノルム損失には独自のソリューションがあり、L1ノルム損失には複数のソリューションがあるのはなぜですか?


14

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/

この投稿の上部を見ると、筆者は、L2ノルムには独自のソリューションがあり、L1ノルムにはおそらく多くのソリューションがあると述べています。これは正則化の観点から理解できますが、損失関数でのL1ノルムまたはL2ノルムの使用という点では理解できません。

スカラーx(x ^ 2および| x |)の関数のグラフを見ると、両方に1つの一意の解があることが簡単にわかります。


2
「fnx」?...これを明確にするために編集してください。「機能」という意味ですか?
Glen_b-モニカの復活

回答:


22

可能な限り簡単な説明のために、1次元の問題を考えてみましょう。(高次元の場合も同様の特性を持っています。)

両方そして、X - μ 2、それぞれが固有の最小値を持って、Σ I | X I - μ | しばしばしません。x 1 = 1およびx 2 = 3を考えます。|xμ|(xμ)2i|xiμ|x1=1x2=3

sum_iのプロット| x_i-mu |

(x軸のラベルにもかかわらず、これは実際には関数です。ラベルを変更する必要がありますが、そのままにしておきます)μ

L1

i(xiμ)2=n(x¯μ)2+k(x)


L1

(特定の状況を除いて)通常、影響力の大きい観測が行われないという保証はないため、L1回帰をロバストとは呼びません。


プロットのRコード:

 fi <- function(x,i=0) abs(x-i)
 f <- function(x) fi(x,1)+fi(x,3)
 plot(f,-1,5,ylim=c(0,6),col="blue",lwd=2)
 curve(fi(x,1),-1,5,lty=3,col="dimgrey",add=TRUE)
 curve(fi(x,3),-1,5,lty=3,col="dimgrey",add=TRUE)

これは素晴らしい。グラフの作成に使用したソフトウェアは何ですか?
-user3180

2
R.これは基本グラフィックスで行われます。答えの最後にコードを追加しました。
Glen_b -Reinstateモニカ

うわー、に機能を提供できることに気付いたことはありませんplot。頭がおかしくなりそうだ。
JAD

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.