タグ付けされた質問 「lagrange-multipliers」

統計学習で最も人気のある本を読みました 1- 統計学習の要素。 2- 統計学習の紹介。 どちらも、リッジ回帰には同等の2つの式があることに言及しています。この結果を理解できる数学的な証拠はありますか？ Cross Validatedも通過しましたが、そこには明確な証拠が見つかりません。 さらに、LASSOは同じタイプの証明を享受しますか？

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

目的 KKTの理解が正しいかどうかを確認します。KKTに関する詳細な説明と確認を求めてください。 バックグラウンド KKTの条件、特に補完的な条件を理解しようとしています。これは、SVMの記事で常に青く表示されます。抽象式のリストは必要ありませんが、具体的で直感的でグラフィカルな説明が必要です。 質問 コスト関数f（X）を最小化するPが制約（g（P）> = 0）内にある場合、それは解です。この場合、KKTは関係ないようです。 Pが制約内にない場合、KKTが言うように、解Xは図の下で満たす必要があります。それはすべてKKTですか、それとも他の重要な側面を見逃していますか？ その他の説明 KKTを適用するには、f（x）を凸にする必要がありますか？ KKTを適用するには、g（x）を線形にする必要がありますか？ λは、λ* g（X）= 0で必要ですか？なぜg（X）= 0またはg（Xi）= 0では不十分なのですか？ 参照資料 ラグランジュ乗数KKT条件 SVMのすべてのガターポイントには正の乗数がありますか？ http://fnorio.com/0136Lagrange_method_of_undetermined_multipliers/Lagrange_method_of_undetermined_multipliers.html アップデート1 答えてくれてありがとう、それでも理解するのに苦労しています。ここでのみ必要性に焦点を当てます。 マシュー・ガンの非最適点（緑色の円）に関する回答の条件（2）とKKTはそこで満たされませんか？そして、マーク・L・ストーンの答えのようにヘッシアンを見ると、その点が特定されるでしょうか？ 別の状況は点であると思いますが、同じことが当てはまりますか？ user23658

13 svm  optimization  lagrange-multipliers 

LASSO回帰についての私の理解は、最小化問題を解決するために回帰係数が選択されることです。 minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t 実際には、これはラグランジュ乗数を使用して行われ、問題を解決します minβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 λλ\lambdaとtの関係は何tttですか？ウィキペディアは、それが「データに依存する」と単純に述べているが役に立たない。 なぜ気にするのですか？まずは知的好奇心。しかし、交差検証によって\ lambdaを選択した場合の結果についても心配していλλ\lambdaます。 具体的には、n分割交差検証を行っている場合、トレーニングデータのn個の異なるパーティションにn個の異なるモデルを適合させます。次に、指定された\ lambdaの未使用データの各モデルの精度を比較しますλλ\lambda。ただし、同じ\ lambdaは、データの異なるサブセットに対してλλ\lambda異なる制約（ttt）を意味します（つまり、t=f(λ)t=f(λ)t=f(\lambda)は「データ依存」です）。 最良のバイアス精度のトレードオフを与えるtを見つけるために本当に解決したい相互検証問題ではないtttですか？ 実際にこの効果のサイズの大まかなアイデアを得るには、各交差分割とに対してを計算し、結果の分布を確認します。場合によっては、暗黙の制約（）が交差検証サブセット全体で大幅に変化することがあります。ここで実質的に私は変動係数を意味し。∥β∥1‖β‖1\|\beta\|_1λλ\lambdatttt>>0t>>0t>>0

10 optimization  lasso  regularization  lagrange-multipliers 

Maximal Margin Classifier SVMでは、二重問題を解決した後、ほとんどのラグランジュ乗数がゼロになることがわかりました。サポートベクトルに対応するものだけが正であることがわかります。 何故ですか？

8 svm  lagrange-multipliers