正則化とラグランジュ乗数の方法との関係は何ですか？

人々の過剰適合を防ぐために、人々は線形回帰のコスト関数に正則化パラメーターを持つ正則化項（モデルのパラメーターの二乗和に比例）を追加します。このパラメータはラグランジュ乗数と同じですか？正則化はラグランジュ乗数の方法と同じですか？または、これらのメソッドはどのように関連付けられていますか？ $\lambda$$\lambda$

パラメータベクトルの大きさの制約を受けるいくつかの基準最小化することにより、パラメータを使用してモデルを最適化しているとします（たとえば、構造的リスク最小化アプローチを実装するには、複雑さを増すモデルのネストされたセットを構築する）、私たちは解決する必要があります：$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

この問題のラグランジアンは（注意：長い日だったと思う... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

したがって、正則化されたコスト関数は制約付き最適化問題に密接に関連しており、正則化パラメーターは制約（）を支配する定数に関連しており、本質的にラグランジュ乗数です。 $\lambda$$C$

これは、たとえばリッジ回帰が構造リスク最小化を実装する理由を示しています。正則化は、重みベクトルの大きさに制約を課すことと同等であり、場合、次の制約できるすべてのモデル$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

制約の下でも利用可能になります

$\|\vec{\theta}\|^2 < C_1$。

したがって、減らすと、複雑さが増す一連の仮説空間が生成されます。$\lambda$