2次導関数が凸最適化に役立つのはなぜですか？

18

これは基本的な質問であり、勾配自体の方向に関係していると思いますが、単純な勾配降下よりも2次法（BFGSなど）の方が効果的な例を探しています。

optimization

— バー
ソース

3

「放物面の頂点を見つける」が「この線形関数の最小値を見つける」（もちろん、最小値を持たないため）線形）？

20

これは、勾配降下法とニュートン法の両方を解釈するための一般的なフレームワークです。これは、@ Sycoraxの答えの補足として違いを考えるのに役立つ方法かもしれません。（BFGSはNewtonのメソッドに近似しています。ここでは特に説明しません。）

関数最小化していますが、それを直接行う方法はわかりません。したがって、代わりに、現在の点で局所近似を取り、それを最小化します。 $f$ $x$

：ニュートン法は、2次テイラー展開を用いて関数近似の勾配意味時点でとにおけるヘッセ行列。次に、進み、繰り返します。

f （ y ） \approx N_{バツ} （ y ） ：= f （ バツ ） + \nabla f （ バツ ）^{T} （ y - バツ ） + \frac{1}{2} （ y - バツ ）^{T} \nabla^{2} f （ バツ ） （ y - バツ ） 、

$f(y) \approx N_x(y) := f(x) + \nabla f(x)^T (y - x) + \tfrac12 (y - x)^T \, \nabla^2 f(x) \, (y - x) ,$

\nabla f (x)

$\nabla f(x)$

f

$f$

x

$x$

\nabla^{2} f (x)

$\nabla^2 f(x)$

x

$x$

\arg min_{y} N_{x} (y)

$\arg\min_y N_x(y)$

ヘッセ行列ではなく勾配のみを持つ勾配降下では、@ Hurkylが最小値を持たないため、1次近似を作成して最小化することはできません。その代わりに、我々はステップサイズを定義へとステップ。ただし、 $t$ $x - t \nabla f(x)$ したがって、勾配降下を最小化関数

\begin{aligned} バツ - t \nabla f （ バツ ） & = \arg \underset{y}{最大} [f （ バツ ） + \nabla f （ バツ ）^{T} （ y - バツ ） + \frac{1}{2 t} ‖ y - バツ ‖^{2}] \\ = \arg \underset{y}{最大} [f （ バツ ） + \nabla f （ バツ ）^{T} （ y - バツ ） + \frac{1}{2} （ y - バツ ）^{T} \frac{1}{t} 私 （ y - バツ ）] 。 \end{aligned}

$\begin{align} x - t \,\nabla f(x) &= \arg\max_y \left[f(x) + \nabla f(x)^T (y - x) + \tfrac{1}{2 t} \lVert y - x \rVert^2\right] \\&= \arg\max_y \left[f(x) + \nabla f(x)^T (y - x) + \tfrac12 (y-x)^T \tfrac{1}{t} I (y - x)\right] .\end{align}$

G_{バツ} （ y ） ：= f （ バツ ） + \nabla f （ バツ ）^{T} （ y - バツ ） + \frac{1}{2} （ y - バツ ）^{T} \frac{1}{t} 私 （ y - バツ ） 。

$G_x(y) := f(x) + \nabla f(x)^T (y - x) + \tfrac12 (y-x)^T \tfrac{1}{t} I (y - x).$

したがって、勾配降下法は、ニュートン法を使用するようなものですが、2次のテイラー展開をとる代わりに、ヘッセ行列がであると仮定します。 $\tfrac1t I$ $G$ $f$ $N$

二次を最小化する@Sycoraxの例を見る

f （ バツ ） = \frac{1}{2} {バツ}^{T} A バツ + d^{T} バツ + c

$f(x) = \tfrac12 x^T A x + d^T x + c$

$N = f$

G_{バツ} （ y ） = f （ バツ ） + （ A バツ + d ）^{T} y + \frac{1}{2} （ バツ - y ）^{T} \frac{1}{t} 私 （ バツ - y ）

$G_x(y) = f(x) + (A x + d)^T y + \tfrac12 (x - y)^T \tfrac1t I (x-y)$

x

$x$

A

$A$

— ダガル
ソース

1

これは@Aksakalの回答に似ていますが、より詳細です。

— Dougal

1

（+1）これは素晴らしい追加です！

— Sycoraxは回復モニカ言う

17

基本的に、Newtonの方法のような2次導関数の利点は、2次終了の品質があることです。これは、有限数のステップで2次関数を最小化できることを意味します。勾配降下法のような方法は学習率に大きく依存し、最適化が最適に跳ね返るためゆっくり収束するか、完全に発散する可能性があります。安定した学習率を見つけることができます...しかし、ヘシアンの計算が含まれます。安定した学習率を使用している場合でも、最適化の周りの振動などの問題が発生する可能性があります。そのため、たとえ終了したとしても、多くの反復を要することがありますあなたは比較的それに近いです。BFGSとNewtonの方法は、各ステップの計算作業がより高価であっても、より迅速に収束できます。

例のリクエストに対して：目的関数があるとします

F （ バツ ） = \frac{1}{2} {バツ}^{T} A バツ + d^{T} バツ + c

$F(x)=\frac{1}{2}x^TAx+d^Tx+c$ 勾配は

\nabla F （ バツ ） = A バツ + d

$\nabla F(x)=Ax+d$ 一定の学習率で最も急な降下形にする

{バツ}_{k + 1} = {バツ}_{k} - α （ A {バツ}_{k} + d ） = （ 私 - α A ） {バツ}_{k} - α d 。

$x_{k+1}= x_k-\alpha(Ax_k+d) = (I-\alpha A)x_k-\alpha d.$

これは、固有ベクトルの大きさが $I-\alpha A$ このプロパティを使用して、安定した学習率が次の条件を満たすことを示すことができます。

α < \frac{2}{λ_{m a バツ}} 、

$\alpha<\frac{2}{\lambda_{max}},$ どこ

λ_{m a x}

$\lambda_{max}$ の最大固有値

A

$A$ 。最急降下アルゴリズムの収束速度は最大の固有値によって制限され、ルーチンは対応する固有ベクトルの方向に最も速く収束します。同様に、最小固有値の固有ベクトルの方向に最もゆっくり収束します。の大きな固有値と小さな固有値の間に大きな不均衡がある場合

A

$A$ 、勾配降下は遅くなります。どれか

A

$A$ このプロパティでは、勾配降下を使用してゆっくり収束します。

ニューラルネットワークの特定のコンテキストでは、本Neural Network Designには数値最適化手法に関するかなりの情報があります。上記の説明は、セクション9-7の要約です。

— シコラックス、モニカを復職させる
ソース

素晴らしい答えです！私は@Dougalの答えを受け入れていますが、それはより簡単な説明を提供すると思います。

— バー

6

凸最適化では、関数を1次元の場合の2次多項式として近似します。

f （ バツ ） = c + β バツ + α {バツ}^{2}

$f(x)=c+\beta x + \alpha x^2$

この場合、二次導関数

\partial^{2} f （ バツ ） / \partial {バツ}^{2} = 2 α

$\partial^2 f(x)/\partial x^2=2\alpha$

導関数がわかっていれば、最適な次の推測を簡単に得ることができます。

推測 = - \frac{β}{2 α}

$\text{guess}=-\frac{\beta}{2\alpha}$

多変量の場合は非常によく似ており、微分には勾配を使用します。

— アクサカル
ソース

2

@Dougalはすでに素晴らしい技術的な答えを提供してくれました。

数学的な説明は、線形（1次）近似がエラーサーフェス上の点に接する「平面」を提供するのに対し、2次近似（2次）はエラーサーフェスの曲率をハグするサーフェスを提供することです。

このリンクのビデオは、この概念を視覚化するのに非常に役立ちます。これらは、関数サーフェスに対する次数0、次数1、および次数2の近似値を表示し、他の回答が数学的に提示するものを直感的に検証します。

また、トピックに関する優れたブログ投稿（ニューラルネットワークに適用）はこちらです。

— ジュバル
ソース