1
隆起回帰のL2正規化は切片を罰しますか？そうでない場合、その派生物をどのように解決しますか？
MLは初めてです。リッジ回帰のL2正規化は切片罰しないことが通知されました。コスト関数と同様： L2正規はからまでの合計のみで、からまでの合計ではありません。私もそれを読みました：θ0θ0\theta_{0}∇θJ(θ)=12∑i=1m(hθ⃗ (x(i))−y(i))2+λ∑j=1nθ2j∇θJ(θ)=12∑i=1m(hθ→(x(i))−y(i))2+λ∑j=1nθj2 \nabla_{\theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_{\vec \theta}(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}} λ∑nj=1θ2jλ∑j=1nθj2\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}j=1j=1j=1nnnj=0j=0j=0nnn ほとんどの場合（すべての場合？）、正則化しないほうがよいです。オーバーフィットを減らし、表現可能な関数のスペースを縮小する可能性が低いためです。θ0θ0\theta_{0} これは、user48956の最後の回答から来ています。 ため、コスト関数の導関数を解く方法について混乱しています。 ここで、および。∇θJ(θ)=12（Xθ−Y）T（Xθ−Y）+λ(θ′)Tθ′,∇θJ(θ)=12（Xθ−Y）T（Xθ−Y）+λ(θ′)Tθ′, \nabla_{\theta}J(\theta)=\frac{1}{2}（X\theta-Y）^{T}（X\theta-Y）+\lambda(\theta^{'})^{T}\theta^{'}, θ= [ θ 0 θ 1。。。θ N ] X= [ 1θ′=⎡⎣⎢⎢⎢θ1θ2...θn⎤⎦⎥⎥⎥θ′=[θ1θ2...θn]\theta^{'}=\left[ \begin{matrix} \theta_{1} \\ \theta_{2} \\ ...\\ \theta_{n} \end{matrix} \right]θ=⎡⎣⎢⎢⎢θ0θ1...θn⎤⎦⎥⎥⎥θ=[θ0θ1...θn]\theta=\left[ \begin{matrix} \theta_{0} \\ \theta_{1} \\ ...\\ \theta_{n} \end{matrix} \right]X=⎡⎣⎢⎢⎢⎢⎢11...1X(1)1X(2)1X(m)1X(1)2X(2)2X(m)2.........X(1)nX(2)nX(m)n⎤⎦⎥⎥⎥⎥⎥X=[1X1(1)X2(1)...Xn(1)1X1(2)X2(2)...Xn(2)...1X1(m)X2(m)...Xn(m)]X=\left[ \begin{matrix} 1 & X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ …