隆起回帰のL2正規化は切片を罰しますか？そうでない場合、その派生物をどのように解決しますか？

MLは初めてです。リッジ回帰のL2正規化は切片罰しないことが通知されました。コスト関数と同様： L2正規はからまでの合計のみで、からまでの合計ではありません。私もそれを読みました： $\theta_{0}$

\nabla_{θ} J (θ) = \frac{1}{2} \sum_{i = 1}^{m} (h_{\vec{θ}} (x^{(i)}) - y^{(i)})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}

$\nabla_{\theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_{\vec \theta}(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$

λ \sum_{j = 1}^{n} θ_{j}^{2}

$\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$

j = 1

$j=1$

n

$n$

j = 0

$j=0$

n

$n$

ほとんどの場合（すべての場合？）、正則化しないほうがよいです。オーバーフィットを減らし、表現可能な関数のスペースを縮小する可能性が低いためです。 $\theta_{0}$

これは、user48956の最後の回答から来ています。

ため、コスト関数の導関数を解く方法について混乱しています。ここで、および。

\nabla_{θ} J (θ) = \frac{1}{2} （ X θ - Y ）^{T} （ X θ - Y ） + λ (θ^{^{'}})^{T} θ^{^{'}},

$\nabla_{\theta}J(\theta)=\frac{1}{2}（X\theta-Y）^{T}（X\theta-Y）+\lambda(\theta^{'})^{T}\theta^{'},$

θ^{^{'}} = [\begin{matrix} θ_{1} \\ θ_{2} \\ . . . \\ θ_{n} \end{matrix}]

$\theta^{'}=\left[ \begin{matrix} \theta_{1} \\ \theta_{2} \\ ...\\ \theta_{n} \end{matrix} \right]$

θ = [\begin{matrix} θ_{0} \\ θ_{1} \\ . . . \\ θ_{n} \end{matrix}]

$\theta=\left[ \begin{matrix} \theta_{0} \\ \theta_{1} \\ ...\\ \theta_{n} \end{matrix} \right]$

X = [\begin{matrix} 1 & X_{1}^{(1)} & X_{2}^{(1)} & . . . & X_{n}^{(1)} \\ 1 & X_{1}^{(2)} & X_{2}^{(2)} & . . . & X_{n}^{(2)} \\ . . . \\ 1 & X_{1}^{(m)} & X_{2}^{(m)} & . . . & X_{n}^{(m)} \end{matrix}]

$X=\left[ \begin{matrix} 1 & X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ 1 & X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ 1 & X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$

$\theta^{'}$ とは異なります。したがって、私の見解では、それらを混在させることはできません。そして誘導体は、についてです含まれ、。このフォーラムで質問をグググルして表示した後でも、解決策を得る方法はまだありません：誰かが私に手掛かりを与えることができますか？よろしくお願いします！ $\theta$ $\theta$ $\theta^{'}$

θ = (X^{T} X + λ * I)^{- 1} X^{T} Y

$\theta=(X^TX+\lambda*I)^{-1}X^TY$

ただし、この問題には2つの簡単な修正があると思います。

まず、all 1列を追加しません。つまり、。つまり、モデルに切片をまったく含めないということです：この方法は、私が現在読んでいるピーター・ハリントンによる古典的な機械学習の実践で採用されていると思います。リッジ回帰の実装（本がある場合はP166およびP177）では、リッジ回帰に渡されるすべてのにall 1列がありません。 $X$ $X=\left[ \begin{matrix} X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$

y = θ_{1} X_{1} + θ_{2} X_{2} + . . . + θ_{n} X_{n} .

$y=\theta_{1}X_{1}+\theta_{2}X_{2}+...+\theta_{n}X_{n}.$

X

$X$

第二に、傍受も実際には処罰されています。

scikitのロジスティック回帰は、デフォルトで切片を正規化します。

もう一度、「なぜ切片がゼロの線形回帰モデルは切片があるモデルよりも予測が優れている」のuser48956の最後の回答から来たのですか？

2つのクイックフィックスの両方が、ソリューションつながり

θ = (X^{T} X + λ * I)^{- 1} X^{T} Y .

$\theta=(X^TX+\lambda*I)^{-1}X^TY.$

それでは、リッジ回帰のL2正規化の導関数は実際に解決されているのでしょうか、それともクイックフィックスによって解決されているのでしょうか。

machine-learning ridge-regression

— ナオミ
ソース

stats.stackexchange.com/questions/86991も参照してください。Qの答えは、すべてを解決できるということです。最初の項をtheta_0とtheta_primeに分解するだけです。最適なtheta_0をすぐに解くことができます。これは全体の平均です。平均減算データのtheta_primeの適切なソリューションとしての「クイックフィックス＃1」につながります。

— アメーバ2018年

2番目のソリューションは、かなり一般的に正しくないと考えられています。インターセプトのペナルティは、sklearnのいくつかの設計エラーの1つです。

— マシューDrury

@MatthewDrury私はこれを「修正」するためのハックに言及し、あなたを悲しませたと思います。しかし、私はハックが1e9のような巨大な傍受を作ることをOPに伝えたいです。その後、正則化はそれにほとんど影響を与えません。

— Haitao Du

ええ、あなたは正しく覚えています。

— Matthew Drury

@amoebaありがとうございます！私はあなたの指導の下で私の答えの解決策を考え出します。確認していただけますか？さらに、Machine Learning in Actionはから平均を減算し、すべての1列を追加しないことを発見しました。どちらも正しい方法です。ただし、フィーチャの標準化を行う場合、は標準偏差ではなく分散で除算されます。私はこれについて別の質問をしました：標準偏差ではなく、この質問でもう一度私を助けてもらえますか？ありがとう！

Y

$Y$

X

$X$

X - μ

$X-\mu$

— 直美

ハスティらによる統計学習の要素 P63で次のように指摘しています。

切片がペナルティ用語から除外されました $\theta_{0}$

さらに、それは言う：

リッジソリューションは、入力のスケーリングでは等変ではないため、通常、（3.41）を解く前に入力を標準化します（3.41はコスト関数です）。中央の入力を使用して再パラメーター化した後、（3.41）の解を2つの部分に分離できることを（演習3.5）で示すことができます：各はによってを推定し。残りの係数は、中央を使用した切片。以降、このセンタリングが行われたと想定し、入力行列が $X_{j}^{(i)}$ $X_{j}^{(i)}-\overline{x_{j}}.$ $\theta_{0}$ $\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$ $X_{j}^{(i)}$ $X$ $n$ （ではなく）列。 $n + 1$

The Elements of Statistical Learningが最初に機能の標準化を提案し、次に機能のセンタリングのみを行うのはなぜでしょうか。機能のセンタリングのみを使用する演習3.5に同意するかもしれません。

とにかく、Zスコアの標準化を機能に適用するのは正しいことだと思います。だから私は今、上記のコメンターのアメーバの提案に従って、リッジ回帰のコスト関数の導関数を解こうとしています。彼または彼女に感謝します！

まず、コスト関数：ここで、は属性平均であり、は標準偏差です。短くするには：次に、最初に値を計算します

\nabla_{θ} J (θ) = \frac{1}{2} \sum_{i = 1}^{m} (y_{i} - θ_{0} - \frac{X_{1}^{(i)} - \bar{X_{1}}}{σ_{1}} θ_{1} - \frac{X_{2}^{(i)} - \bar{X_{2}}}{σ_{2}} θ_{2} - . . . - \frac{X_{n}^{(i)} - \bar{X_{n}}}{σ_{n}} θ_{n})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2},

$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\frac{X_{1}^{(i)}-\overline{X_1}}{\sigma_1}\theta_1-\frac{X_{2}^{(i)}-\overline{X_2}}{\sigma_2}\theta_2-...-\frac{X_{n}^{(i)}-\overline{X_n}}{\sigma_n}\theta_n)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}},$

\bar{X_{j}}

$\overline{X_j}$

X_{j}

$X_{j}$

σ_{j}

$\sigma_j$

X_{j}

$X_{j}$

\nabla_{θ} J (θ) = \frac{1}{2} \sum_{i = 1}^{m} (y_{i} - θ_{0} - \sum_{j = 1}^{n} \frac{X_{j}^{(i)} - \bar{X_{j}}}{σ_{j}} θ_{j})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}

$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$

θ_{0}

$\theta_0$ 上記の式では、に関する導関数をゼロに設定します。のでありません、我々が得る：つまり、 As（は属性平均）なので、

θ_{0}

$\theta_0$

λ \sum_{j = 1}^{n} θ_{j}^{2}

$\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$

θ_{0}

$\theta_{0}$

\nabla_{θ_{0}} J (θ) = - \sum_{i = 1}^{m} (y_{i} - θ_{0} - \sum_{j = 1}^{n} \frac{X_{j}^{(i)} - \bar{X_{j}}}{σ_{j}} θ_{j}) = 0

$\nabla_{ \theta_0}J(\theta)=-\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)=0$

\sum_{i = 1}^{m} (y_{i} - θ_{0}) - \sum_{i = 1}^{m} \sum_{j = 1}^{n} \frac{X_{j}^{(i)} - \bar{X_{j}}}{σ_{j}} θ_{j} = 0

$\sum_{i=1}^{m}(y_{i}-\theta_{0})-\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$

\sum_{i = 1}^{m} \sum_{j = 1}^{n} \frac{X_{j}^{(i)} - \bar{X_{j}}}{σ_{j}} θ_{j} = 0

$\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$

\bar{X_{j}}

$\overline{X_j}$

X_{j}

$X_{j}$

\sum_{i = 1}^{m} (y_{i} - θ_{0}) = 0,

$\sum_{i=1}^{m}(y_{i}-\theta_{0})=0,$ 明らかに：

θ_{0} = \bar{y} = \frac{1}{m} \sum_{i = 1}^{m} y^{(i)}

$\theta_0=\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$

したがって、機能標準化されたリッジ回帰の切片は常にです。したがって、最初に平均を減算してを集中化する場合（データ例場合は（get ）、にすべての1列を含めないで、次に（getためデータ例）、コスト関数は、単純になりつまり $\overline{y}$ $Y$ $(y_i)^{'}$ $i$ $X$ $X$ $(X_j^{(i)})^{'}$ $X_{j}$ $i$

\nabla_{θ} J (θ) = \frac{1}{2} \sum_{i = 1}^{m} ((y_{i})^{^{'}} - \sum_{j = 1}^{n} (X_{j}^{(i)})^{^{'}} θ_{j})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}

$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}((y_{i})^{'}-\sum_{j=1}^{n}(X_j^{(i)})^{'}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$

\nabla_{θ} J (θ) = \frac{1}{2} （ X^{^{'}} θ - Y^{^{'}} ）^{T} （ X^{^{'}} θ - Y^{^{'}} ） + λ (θ)^{T} θ,

$\nabla_{\theta}J(\theta)=\frac{1}{2}（X^{'}\theta-Y^{'}）^{T}（X^{'}\theta-Y^{'}）+\lambda(\theta)^{T}\theta,$ ここで、はすべて1列ではなく、で標準化されていますはに関して中央揃えです。今（なしで解決することができる）：標準化された機能の場合、線形モデルはここで

θ = [\begin{matrix} θ_{1} \\ θ_{2} \\ . . . \\ θ_{n} \end{matrix}]

$\theta=\left[ \begin{matrix} \theta_1 \\ \theta_2 \\ ...\\ \theta_n \end{matrix} \right]$

X^{^{'}}

$X^{'}$

X

$X$

Y^{^{'}}

$Y^{'}$

Y

$Y$

θ

$\theta$

θ_{0}

$\theta_0$

θ = ((X^{^{'}})^{T} X^{^{'}} + λ * I)^{- 1} (X^{^{'}})^{T} Y^{^{'}}

$\theta=((X^{'})^TX^{'}+\lambda*I)^{-1}(X^{'})^TY^{'}$

y = \bar{y} + θ_{1} X_{1}^{^{'}} + θ_{2} X_{2}^{^{'}} + . . . + θ_{n} X_{n}^{^{'}} - - - (1),

$y=\overline{y}+\theta{_1}X_1^{'}+\theta{_2}X_2^{'}+...+\theta{_n}X_n^{'}---(1),$

X_{i}^{^{'}} = \frac{X_{i} - \bar{X_{i}}}{σ_{i}} - - - (2)

$X_i^{'}=\frac{X_{i}-\overline{X_i}}{\sigma_i}---(2)$ Plasty Groveの回答で提案されているように、（1）で（2）を使用する場合。したがって、原点入力データの場合、線形モデルはこれはこれが、標準化された特徴の係数を解決した後、元の入力データの係数（標準化されていない）を返す理由です機能）、返す必要があります

y = \bar{y} + \frac{X_{1} - \bar{X_{1}}}{σ_{1}} θ_{1} + \frac{X_{2} - \bar{X_{2}}}{σ_{2}} θ_{2} + . . . + \frac{X_{n} - \bar{X_{n}}}{σ_{n}} θ_{n}

$y=\overline{y}+\frac{X_{1}-\overline{X_1}}{\sigma_1}\theta_1+\frac{X_{2}-\overline{X_2}}{\sigma_2}\theta_2+...+\frac{X_{n}-\overline{X_n}}{\sigma_n}\theta_n$

y = \frac{θ_{1}}{σ_{1}} X_{1} + \frac{θ_{2}}{σ_{2}} X_{2} + . . . + \frac{θ_{n}}{σ_{n}} X_{n} + \bar{y} - \frac{\bar{X_{1}}}{σ_{1}} θ_{1} - \frac{\bar{X_{2}}}{σ_{2}} θ_{2} - . . . - \frac{\bar{X_{n}}}{σ_{n}} θ_{n}

$y=\frac{\theta_1}{\sigma_1}X_1+\frac{\theta_2}{\sigma_2}X_2+...+\frac{\theta_n}{\sigma_n}X_n+\overline{y}-\frac{\overline{X_1}}{\sigma_1}\theta_1-\frac{\overline{X_2}}{\sigma_2}\theta_2-...-\frac{\overline{X_n}}{\sigma_n}\theta_n$

θ_{i} / σ_{i}

$\theta_i/\sigma_i$

— ナオミ
ソース

素晴らしい詳細な例。いくつかのコメント：中央揃えの効果についてコメントしますが、切片の項を省略して正しい推定値を得るには、すべての機能も中央揃えにする必要があります。ただし、この例は（一貫した推論を得るために）切片の項にペナルティを課さないという論理的根拠に同意します。第二に、直感はここで何かのために役立つはずです。我々は、すべて予測することを受け入れる程度の付加的な効果を得るために、その平均値では0パラメータモデルに似ている、我々は単にの存在下での平均-Yの効果をキャッチ用語罰してはいけない、モデルで。

Y

$Y$

X

$X$

Y

$Y$

X

$X$

X

$X$

— AdamO 2018年