ボールへの正則化と投影

私はボールへの射影とシンプレックスへのユークリッド射影に関して正則化がどのように機能するかを理解しようとしています。$l_*$

重みベクトルをまたはボールに投影したときの意味がよくわかりません。$l_1$$l_2$

正則化の概念をプログラムで理解できます。、重みベクトルの各要素を、を適用して、小さい重みを0に駆動します。$l_1$signum(w) * max(0.0, abs(w) - shrinkageValue)shrinkageValue = regularizationParameter * eta

私はここでいくつかの数学が欠けていると思うので、私の質問は、ベクトルの投影を先ほど説明したプログラムにどのように変換するのですか？正則化とベクトル投影はどのように関連していますか？

編集：私はこの論文をうとしています高次元で学習するためのボールへの効率的な投影$l_1$

正則化とベクトル投影は、制約付き最適化とKarush-Kuhn（関係なし）-Tucker条件の概念によって接続されます。

KKT条件とは何ですか？

場合は、その簡単に述べると、これらの状態問題の解決策"最小であるFを（X ）に従うG （X ）≤ 0 "、次にxはまた、問題を解決する∇ F （X ）= λ ∇ G （X ）一部のスカラーλの場合。しかし、これは言うと等価である∇ F （X ）- λ ∇ G （X ）= 0、手段、その$x$$f(x)$$g(x) \le 0$$x$$\nabla f(x) = \lambda \nabla g(x)$$\lambda$$\nabla f(x) - \lambda \nabla g(x) = 0$$x$最小化制約なし最適化問題は、 "最小 "。$f(x) - \lambda g(x)$

直感は次のいずれかです。

• 。この場合、 xは「内部解」であるため、その点で fの勾配はゼロでなければなりません。（それがゼロでない場合、 g （x ）< 0を維持しながら、 xからその方向に少し移動し、 f （x ）の値を大きくすることができます。次に、 λ = 0に設定して、完了しました。$g(x) < 0$$x$$f$$x$$g(x) < 0$$f(x)$$\lambda = 0$

• または、です。この場合、xは可能な解空間の端にあります。局所的に、勾配に直交する超平面のような、このエッジルックス∇ G （X ）、あなたが維持する方法ので、Gの（X ）= 0の制約は、上に移動または全てにおける勾配ダウンしていないことです。しかしことを意味するだけ方向勾配∇ F可能性おそらくポイントとまったく同じ方向である∇ G --ifは直交するた任意の成分であった∇ G、我々は移動することができ$g(x) = 0$$x$$\nabla g(x)$$g(x) = 0$$\nabla f$$\nabla g$$\nabla g$$x$その方向に少し、直交超平面に留まり、f （x ）を増やします。$g(x) = 0$$f(x)$

KKT条件が制約付き最小化と正則化の間の関係をどのように説明するか

もし幾つかの規範と、いくつかの定数のCは、制約G （X ）≤ 0手段xは半径の球体上に位置するCことノルム下。そして、拘束されていない製剤で、減算λ G （X ）最大化するために、あなたが望む機能からは、正則のペナルティを適用して終わるものです：あなたは本当に引いているλを| x | + λ C（と定数$g(x) = |x| - c$$c$$g(x) \le 0$$x$$c$$\lambda g(x)$$\lambda |x| + \lambda c$は最適化には関係ありません）。$\lambda c$

人々はしばしば、制約のない最適化と制約のある最適化の間でこの「二重性」を利用します。グーグルですぐに見つけられる例については、On the LASSO and its dualを参照してください。

ここで予測が重要なのはなぜですか？

では、なぜ誰かが高速投影に関する論文を書いているのですか？

基本的に、あなたは一般的な制約付き最適化行うことができます一つの方法- 「最大化の対象のx ∈ X」は、 -次の操作を実行することです：$f(x)$$x \in X$

• f （x ）の制約のない最大化のための任意の反復アルゴリズムを取ります$f(x)$
• 推測x 0から始める$x_0$
• アルゴリズムの1つのステップを実行：$x_0^\prime \leftarrow step(x_0)$
• その後、セットに戻って投影：X 1 ← P X（X ' 0）。$X$$x_1 \leftarrow P_X(x_0^\prime)$
• そして収束するまで繰り返します。

たとえば、これは、予測された勾配降下が通常の勾配降下からどのように導出されるかです。もちろん、ここでは投影関数最適化することが非常に重要です。$P_X$

すべてを一緒に入れて

$||\beta||_1 \le c$$c$$\ell_1$$c$

$P_X$

*もっと効率的な方法があるので、人々が実際にこれをすることはないと思います。しかし、それらも予測を使用する可能性があります。編集：@Dougalが指摘しているように、予測された亜勾配降下のより洗練された変種は、2008年についての論文を書くのに十分でした。