KKTの概要

目的

KKTの理解が正しいかどうかを確認します。KKTに関する詳細な説明と確認を求めてください。

バックグラウンド

KKTの条件、特に補完的な条件を理解しようとしています。これは、SVMの記事で常に青く表示されます。抽象式のリストは必要ありませんが、具体的で直感的でグラフィカルな説明が必要です。

質問

コスト関数f（X）を最小化するPが制約（g（P）> = 0）内にある場合、それは解です。この場合、KKTは関係ないようです。

Pが制約内にない場合、KKTが言うように、解Xは図の下で満たす必要があります。それはすべてKKTですか、それとも他の重要な側面を見逃していますか？

その他の説明

KKTを適用するには、f（x）を凸にする必要がありますか？
KKTを適用するには、g（x）を線形にする必要がありますか？
λは、λ* g（X）= 0で必要ですか？なぜg（X）= 0またはg（Xi）= 0では不十分なのですか？

参照資料

アップデート1

答えてくれてありがとう、それでも理解するのに苦労しています。ここでのみ必要性に焦点を当てます。

マシュー・ガンの非最適点（緑色の円）に関する回答の条件（2）とKKTはそこで満たされませんか？そして、マーク・L・ストーンの答えのようにヘッシアンを見ると、その点が特定されるでしょうか？

別の状況は点であると思いますが、同じことが当てはまりますか？

user23658

svm optimization lagrange-multipliers

— 月
ソース

この質問は、数学のサイトでより多くの注目を集めるかもしれません。KKT条件は、必ずしも「統計的」ではありません。統計学者はこれらの結果やその他の結果を数値解析から借用して興味深い統計問題を解決しますが、これは数学の問題です。

— -user23658

（1）制約がバインドしない場合、制約のある最適化問題は、制約のない最適化問題と同じ解を持ちます。（2）KKT条件が最適に必要になるために、

が凸である必要もが線形である必要もない。（3）KKT条件の保持が最適なための十分な条件であるためには、特別な条件（たとえば、スレーター条件が保持される凸問題）が必要です。

f

$f$

g

$g$

— マシューガン

相補弛み状態の基本的な考え方（すなわち制約である）は制約がある場合ということであるスラック（すなわち）最適なで、制約を厳しくするためのペナルティは0です。また、制約をきつくするための正のペナルティがある場合、制約は拘束的でなければなりません（すなわち）。トラフィックがスムーズに流れている場合、別の車の橋通行料はゼロです。また、ブリッジの通行料が場合、ブリッジは容量制限に達している必要があります。

λ g (x) = 0

$\lambda g(\mathbf{x}) = 0$

g (x) \leq 0

$g(\mathbf{x}) \leq 0$

g (x) < 0

$g(\mathbf{x}) < 0$

x

$\mathbf{x}$

λ

$\lambda$

λ

$\lambda$

g (x) = 0

$g(\mathbf{x}) = 0$

λ

$\lambda$

λ > 0

$\lambda > 0$

— マシューガン

基本的なKKT定理は、ポイントでKKT条件が満たされない場合、ポイントは最適ではないことを示しています。KKT条件は最適化に必要ですが、十分ではありません。（たとえば、関数にサドルポイント、極小などがある場合、KKT条件は満たされるかもしれませんが、ポイントは最適ではありません！）特定のクラスの問題（たとえば、スレーターの条件が成立する凸問題）、KKT条件は十分条件になります。

x

$\mathbf{x}$

x

$\mathbf{x}$

— マシューガン

回答:

最適条件の必要条件としてのKKT条件の基本的な考え方は、実行可能な点で保持しない場合、目的を増加させることなく改善する方向が存在するということです。（したがって、おそらく違反する）制約。（KKT条件で保持していない場合次に点が最適であるために、従ってKKT条件が必要であり、最適にすることはできません。） $\mathbf{x}$ $\boldsymbol{\delta}$ $f$ $\mathbf{x}$ $\mathbf{x}$

最適化の問題があると想像してください：

\begin{array}{llr} 最小化（オーバー バツ ） & f （ バツ ） \\ の対象 & \forall_{j \in {1 \dots k}} g_{j} （ バツ ） \leq 0 \end{array}

$\begin{equation} \begin{array}{*2{>{\displaystyle}r}} \mbox{minimize (over $\mathbf{x}$)} & f(\mathbf{x}) \\ \mbox{subject to} & \forall_{j \in \{1\ldots k\}}\; g_j(\mathbf{x}) \leq 0 \end{array} \end{equation}$

ここで、、制約があります。 $\mathbf{x} \in \mathbb{R}^n$ $k$

KKT条件とFarkas補題

ましょうの勾配を表す列ベクトルでありで評価。 $\nabla f(\mathbf{x})$ $f$ $\mathbf{x}$

この状況に適用して、Farkas Lemmaは、任意の点について、次のステートメントのいずれか1つが正確に成り立つと述べています。 $\mathbf{x} \in \mathbb{R}^n$

存在ようおよび $\boldsymbol{\lambda} \in \mathbb{R}^k$ $\sum_{j=1}^k \lambda_j \nabla g_j(\mathbf{x}) = -\nabla f(\mathbf{x})$ $\boldsymbol{\lambda} \geq \mathbf{0}$
存在ようにと $\boldsymbol{\delta} \in \mathbb{R}^n$ $\forall_j \boldsymbol{\delta}' g_j(\mathbf{x}) \leq 0$ $\boldsymbol{\delta}'\nabla f(\mathbf{x}) < 0$

これは何を意味するのでしょうか？これは、任意の実行可能点に対して、次のいずれかを意味します。 $\mathbf{x}$

条件（1）が成立し、KKT条件が満たされます。
条件（2）が成り立ち、制約を増やすことなく目的関数を改善する実行可能な方向が存在します。（例えば、から移動することでを改善できます） $\boldsymbol{\delta}$ $f$ $g_j$ $f$ $\mathbf{x}$ $\mathbf{x} + \epsilon \boldsymbol{\delta}$

条件（1）は、非負の乗数が存在するため、ポイントでKKT条件が満たされることを示しています。（幾何学的に、は制約の勾配によって定義される凸円錐にあると言います。） $\boldsymbol{\lambda}$ $\mathbf{x}$ $- \nabla f$

条件（2）は、ポイント、次のように（ローカルに）移動する方向が存在することを示しています。 $\mathbf{x}$ $\boldsymbol{\delta}$

方向に移動すると、目的関数が減少します（とのドット積がゼロより小さいため）。 $\boldsymbol{\delta}$ $\nabla f(\mathbf{x})$ $\boldsymbol{\delta}$
方向に移動しても、制約の値は増加しません（とのドット積はすべてゼロ以下であるため）制約）。 $\boldsymbol{\delta}$ $\nabla g_j(\mathbf{x})$ $\boldsymbol{\delta}$ $j$

（幾何学的に、実行可能な方向は、ベクトルとベクトル定義された凸円錐の間の分離超平面を定義します。 $\boldsymbol{\delta}$ $-\nabla f(\mathbf{x})$ $\nabla g_j(\mathbf{x})$

（注：これをFarkas Lemmaにマッピングするには、行列） $A = \begin{bmatrix} \nabla g_1, \nabla g_2, \ldots, \nabla g_k \end{bmatrix}$

この引数は、最適なKKT条件の必要性（十分性ではない）を示します。KKTの条件が満たされない場合（および制約条件が満たされる場合）、制約に違反することなく目的を改善することができます。

制約条件の役割

何がうまくいかないのでしょうか？制約の勾配が移動可能な方向を正確に記述していない、退化した状況を得ることができます。

上記の引数を使用できるようにするために、選択するさまざまな制約条件が多数あります。

最小、最大解釈（最も直感的なもの）

ラグランジアンを形成する

L （ バツ 、 λ ） = f （ バツ ） + \sum_{j = 1}^{k} λ_{j} g_{j} （ バツ ）

$\mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = f(\mathbf{x}) + \sum_{j=1}^k \lambda_jg_j(\mathbf{x})$

制約を最小化する代わりに、を最小化しようとしているときに、相手が最大化しようとしていると想像してください。乗数は、制約に違反した場合のペナルティ（ある対戦相手が選択）として解釈できます。 $f$ $g_j$ $\mathcal{L}$ $\lambda_i$

元の最適化問題の解決策は次と同等です。

\underset{バツ}{分} \underset{λ}{最大} L （ バツ 、 λ ）

$\min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

あれは：

最初にを選択して、ラグランジュを最小化します。 $\mathbf{x}$ $\mathcal{L}$
次に、を選択して、ラグランジュを最大化します（選択）。 $\boldsymbol{\lambda}$ $\mathbf{x}$

たとえば、制約に違反した場合、を無限に設定することでペナルティを科すことができます！ $g_2$ $\lambda_2$

弱い双対性

関数は、次のことを確認してください。 $f(x, y)$

\forall_{\hat{バツ} 、 \hat{y}} \underset{バツ}{分} f （ バツ 、 \hat{y} ） \leq f （ \hat{バツ} 、 \hat{y} ） \leq \underset{y}{最大} f （ \hat{バツ} 、 y ）

$\forall_{\hat{x},\hat{y}} \quad \min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$

それはすべてのとにも当てはまるので、次のことも成り立ちます。 $\hat{x}$ $\hat{y}$

\underset{y}{最大} \underset{バツ}{分} f （ バツ 、 y ） \leq \underset{バツ}{分} \underset{y}{最大} f （ バツ 、 y ）

$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$

ラングリアン設定では、この結果はは弱い双対性として知られています。 $\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) \leq \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

二重問題は解の下限を与えます $\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

強い双対性

特定の特別な条件（たとえば、スレーター条件が成立する凸問題）では、強い双対性（つまり、サドルポイントプロパティ）があります。

max_{λ} min_{x} L (x, λ) = min_{x} max_{λ} L (x, λ)

$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

この美しい結果は、問題の順序を逆にすることができることを意味します。

最初にペナルティを選択して、ラグランジアンを最大化します。 $\boldsymbol{\lambda}$
次に、を選択して、ラグランジアンを最小化します。 $\mathbf{x}$ $\mathcal{L}$

このプロセスのセットは、制約違反の価格であり、価格はあなたが制約に違反することは決してありませんように設定されています。 $\lambda$

— マシュー・ガン
ソース

情報とリンクを理解して、理解のギャップを埋めてください。確認させてください。条件（1）は、KKTが点Xが解であると言い、λ* g（X）= 0、λ> = 0を満たし、g（X）の勾配の長さがλそれ以外の場合、f（X）の勾配は、f（X '）の小さい方が見つかる方向になりますか？

— 月曜

スレーター条件は、（ちょうど）凸最適化問題に適用できる制約条件です。つまり、KTTが必要になります。凸面はKKTで十分です。そのため、目的関数と制約が凸で連続的に微分可能な凸最適化問題のスレーター条件により、KKTはグローバルミニマムに必要かつ十分になります。スレーター条件は、すべての非線形制約の厳密な内部にある少なくとも1つの実行可能ポイント（つまり、すべての制約を満たす）が存在することです（実行可能な限り、すべてが線形制約に伴います）。

— マークL.ストーン

凸であるf（x）は、KKTがxが局所的最小になるために十分であるために必要です。f（x）または-g（x）が凸でない場合、KKTを満たすxは、極小、,点、または極大のいずれかです。

g（x）が線形であり、f（x）が連続的に微分可能であると、局所最小にKKT条件が必要です。g（x）が線形であるということは、KKTが局所的最小値の必須である線形制約条件が満たされていることを意味します。ただし、ローカルミニマムに必要なKKT条件に十分な、制約の少ないその他の制約条件があります。https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditionsの規則性条件（または制約条件）セクションを参照してください。

極小値に「アクティブ」制約がない場合（不等式制約の場合のみ、その制約は等式で満たされない）、そのような制約に関連付けられたラグランジュ乗数はゼロでなければならず、その場合、KKTは目的の勾配=0。そのような場合、制約のイプシロン締め付けの最適な目的値に対してゼロの「コスト」があります。

詳細情報：

目的関数と制約は凸であり、連続微分可能であることは、グローバル最小値に対してKKTで十分であることを意味します。

目的関数と制約が連続的に微分可能であり、制約が制約条件を満たしている場合、局所最小値にKKTが必要です。

目的関数と制約が連続的に微分可能で、凸であり、制約が制約条件を満たしている場合、KKTはグローバル最小値に必要かつ十分です。

上記の説明は、実際には1次KKT条件のみに関係します。2次KKT条件もあります。1次KKT条件を満たし、目的関数と制約が2回連続微分可能である点は、ラグランジアンのヘッシアンがに投影される場合、局所最小値（十分）です。アクティブ制約のヤコビアンのヌル空間は半正定値です。（前の文で使用されている用語を調べてみましょう。）をアクティブな制約のヤコビアンのヌル空間の基礎とすると、2次KKT条件はが正の半正定であり、ここで $Z$ $Z^T H Z$ $H$ はラグランジアンのヘッセ行列です。アクティブ制約は、すべての等式制約に加えて、検討中のポイントで等式が満たされるすべての不等式制約で構成されます。検討中の1次KKTポイントでアクティブな制約が存在しない場合、単位行列はヌル空間基底であり、すべてのラグランジュ乗数はゼロでなければなりません。したがって、ローカルミニマムの2次必要条件は、制約のない最適化からおなじみの条件に減少します目的関数のヘッセ行列が半正定値であること。すべての制約が線形の場合、線形関数の2次導関数= 0であるため、ラグランジュのヘッセ行列=目的関数のヘッセ行列。 $Z$

— マーク・L・ストーン
ソース