二次計画法となげなわ

以下の形式の投げ縄回帰を実行しようとしています：

を最小化 $w$ $(Y - Xw)'(Y - Xw) + \lambda \;|w|_1$

与えられたとき、次の形式を取る2次計画法の助けを借りて、最適なを見つけるようにアドバイスされました。 $\lambda$ $w$

でを最小化し $x$ $\frac{1}{2} x'Qx + c'x$ $Ax \le b.$

項は制約項に変換する必要があることに気付きました。これはかなり単純です。ただし、どういうわけか、最初の方程式の最初の項を2番目の方程式の最初の項に変換する方法がわかりません。ネットではなかなか見つからなかったので、ここで質問することにしました。 $\lambda$ $Ax \le b$

regression lasso quadratic-form

— スパーラ
ソース

回答:

標準形式の「」変数としてを使用していることを念頭に置き、を展開して、用語をとinと、および定数。 $w$ $x$ $(Y - Xw)'(Y - Xw)$ $w'\, [\,_{^{^\text{something}}}]\,w$ $w'$ $w$

定数を無視できる理由を説明してください。

と用語を組み合わせることができる理由を説明してください。 $w'$ $w$

BananaCodeは、パスに沿っていくつかのリードがあることを理解している、とか、またはもっと簡単に、と書くことができます。（とはすべてのに対して同じargminを持っているため）。 $Q=2X'X$ $c=-2X'Y$ $Q=X'X$ $c=-X'Y$ $f(x)$ $kf(x)$ $k>0$

— Glen_b-モニカの復活
ソース

x_がf（x）の最小値である場合、x_ + cはf（x）+ cの最小値なので、定数は無視できます。したがって、定数cは無視できます。行き詰まった場所がわかるように質問を編集します。

— 2014年

BananaCodeの説明にはいくつかの欠陥があります。よる場合は、「最小である」もしかして「の引数である最小化された」、あなたが言うようなもの「あるの」。しかし、あなたの結論は間違っています。あなたが追加した場合する、あなたは追加しない argminに。

f (x)

$f(x)$

f (x)

$f(x)$

x^{*}

$x^*$

argmin

$\text{argmin}$

f

$f$

c

$c$

f

$f$

c

$c$

— Glen_b-モニカを2014

私の回答のどこにを書いたかを参照してください。何何かあなたが今持っている間とあなたの質問の下部には？

w^{'} [something] w

$w'\, [\,\text{something}]\,w$

w^{'}

$w'$

w

$w$

— Glen_b-モニカを2014

はい、私はがのであることを意味しました。私の結論が間違っている例を挙げてもらえますか？である、私は形にしようとしているマトリックス。を展開すると、ます。最初の部分は行列の形式を表しますが、2番目の項を取り除くことはできません。

x *

$x*$

a r g m i n

$argmin$

f

$f$

[s o m e t h i n g]

$[something]$

Q

$Q$

w^{'} (X^{'} X w - X^{'} Y)

$w'(X'Xw - X'Y)$

w^{'} X^{'} X w - w^{'} X^{'} Y

$w'X'Xw - w'X'Y$

Q

$Q$

- w^{'} X^{'} Y

$-w'X'Y$

— 2014年

@ AD.Net制約は主に他の回答でカバーされています。

— Glen_b-2015

制約の変換を解決する方法を追加したかった、二次計画法に使用できる形式に変換します。これは、思ったほど簡単ではないためです。ような実数行列を見つけることはできません。 $\sum |w_i| \le s$ $A$ $Aw \le s \leftrightarrow \sum |w_i| \le s$

私が使用したアプローチは、ベクトル要素をとに分割して、になるようにすることでした。場合、およびが存在します。それ以外の場合、および。または、より数学的な用語では、およびとはどちらも負でない数値です。数値を分割する背後にある考え方は、 $w_i$ $w$ $w_i^+$ $w_i^-$ $w_i = w_i^+ - w_i^-$ $w_i \ge 0$ $w_i^+ = w_i$ $w_i^- = 0$ $w_i^- = |w_i|$ $w_i^+ = 0$ $w_i^+ = \frac{|w_i| + w_i}{2}$ $w_i^- = \frac{|w_i| - w_i}{2}.$ $w_i^-$ $w_i^+$ $|w_i| = w_i^+ + w_i^-$ 、効果的に絶対値を取り除く。

最適化する関数は次のようになります：、件名to $\frac{1}{2}(w^+ - w^-)^TQ(w^+ - w^-) + c^T(w^+ - w^-)$ $w_i^+ + w_i^- \le s, \\ w_i^+,w_i^- \ge 0$

どこと Glen_bによって上記のように与えられています $Q$ $c$

これは、使用可能な形式に変換する必要があります。つまり、1つのベクトルが必要です。これは次の方法で行われます。

$\frac{1}{2} \bigg[ \begin{array}{c} w^+ \\ w^- \end{array} \bigg]^T \bigg[ \begin{array}{cc} Q & -Q \\ -Q & Q \end{array} \bigg] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] + \big[ \begin{array}{cc} c^T & -c^T \end{array} \big] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg]$

従う

$\bigg[ \begin{array}{cc} I_D & I_D \\ -I_{2D} \end{array} \bigg]\bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] \le \bigg[ \begin{array}{c} s_D \\ 0_{2D} \end{array}\bigg]$

ここある次元の単位行列、値からのみなる次元ベクトルと次元ゼロベクトル。前半は保証します、二今では検索するために二次計画を使用するために使用可能な形でだと与えられ、。これが完了すると、に関する最適なパラメーターはます。 $I_D$ $D$ $s_D$ $D$ $s$ $0_D$ $2*D$ $|w_i| = w_i^+ + w_i^- \le s$ $w_i^+,w_i^- \ge 0$ $w^+$ $w^-$ $s$ $s$ $w = w^+ - w^-$

出典および参考文献：絶対値を含む線形制約による二次計画問題の解決

— スパーラ
ソース

最適な次元ベクトルが見つかったとします。とが実際に一部のベクトルの正の部分と負の部分、つまりエントリ位置が一致することを保証するものは何ですか？

2 D

$2D$

(w^{+}, w^{-})

$(w^+, w^-)$

w^{+}

$w^+$

w^{-}

$w^-$

w

$w$

0

$0$

— Myath 2018

最終的な式の行列とベクトルはより単純で、実際にはより正確です。[Id Id] [w + w−] '≤Sdの代わりに、単純に[1 1 .... 1] [w + w-]'≤sとすることができます。これは文字通り∑ | wi |と同等です = ∑（wi + + wi−）≤s。

— マルコ