Coursera機械学習コースごとの正則化線形回帰コスト関数の導出

私はAndrew Ngのコース「機械学習」を数か月前にCourseraで受講しましたが、ほとんどの数学/派生物に注意を払うことなく、実装と実用性に焦点を合わせていました。それ以来、私は根本的な理論のいくつかを研究し始め、Ng教授の講義のいくつかを再訪しました。私は彼の "Regularized Linear Regression"についての講義を読んでいましたが、彼が次のコスト関数を与えることがわかりました。

$$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$$

次に、このコスト関数に次の勾配を与えます。

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j]$$

私は彼がどのように一方から他方へと移るのかについて少し混乱しています。自分で導出しようとすると、次の結果が得られました。

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j]$$

違いは、元のコスト関数とNg教授の公式の正則化パラメーターの間の「プラス」記号が勾配関数で「マイナス」記号に変化することですが、それは私の結果では発生していません。

直感的に、それが負の理由を理解します。シータパラメーターを勾配の数値で減らし、過適合を避けるために、パラメーターを変更する量を正則化パラメーターで減らします。私はこの直感を裏付ける微積分学に少しこだわっています。

FYI、あなたはデッキを見つけることができ、ここで、スライド15と16の上に、。

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

今

$\frac{\partial}{\partial \theta_j}(h_\theta (x^{(i)}) - y^{(i)})^2=2[(h_\theta (x^{(i)}) - y^{(i)})\frac{\partial}{\partial \theta_j}\{h_\theta(x^{(i)})\}]$

$\frac{\partial}{\partial \theta_j}(h_\theta(x^{(i)})=[x^{(i)}]_j$

$\frac{\partial}{\partial \theta_j}\lambda\sum_{j=1}^n\theta^2=2\lambda\theta_j$

したがって、線形の場合

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j + \lambda\theta_j]$

あなたとアンドリューの両方にタイプミスがあるかもしれません。ええと、私たち3人のうち少なくとも2人はそうです。

実際に動画の直後の講義ノートをチェックすると、式が正しく表示されています。ここで並べたスライドは、ビデオの正確なスライドを示しています。

実際、それは単なるタイプミスだと思います。

$-\alpha$$-\lambda\theta$$-\alpha$

理にかなっていますか？