Armijoルールに関する混乱

行検索で使用されるArmijoルールについてこの混乱があります。追跡線の検索を読み返していましたが、このArmijoのルールが何であるかがわかりませんでした。誰もArmijoのルールを詳しく説明できますか？ウィキペディアはうまく説明していないようです。ありがとう

optimization

— user34790
ソース

方程式で変数xがベクトルではなく行列の場合はどうなりますか？Armijoルールはどのように更新する必要がありますか？

— フランクPuk

何も変わりません。

行列を（列）ベクトル

単純に変形する必要があります。

X_{k}

$X_k$

x_{k}

$x_k$

— GoHokies

それは私が立ち往生したところです。場合

マトリックスになり、左側の値（

）は依然としてスカラーです。しかし、右側の値ではない-その代わり、それはマトリックスだ（

であり、Aスカラーおよび

行列である。）

x_{k}

$x_k$

f (x_{k} + α p_{k})

$f(x_k+\alpha p_k)$

f (x_{k})

$f(x_k)$

β α \nabla f (x_{k})^{T} p_{k}

$\beta\alpha∇f(x_k)^Tp_k$

— フランクプーク

行列ではなくベクトルを使用する必要があります。したがって、制御変数の

行列（

）を

ベクトル

再整形します。

N \times N

$N \times N$

X_{k}

$X_k$

x_{k}

$x_k$

N^{2}

$N^2$ 要素のます。検索方向と勾配も

要素のベクトルになります。この方法では、Armijo条件のRHSとLHSの両方がスカラーであり、比較できます。

N^{2}

$N^2$

— GoHokies

回答:

目的関数下降方向を取得したら、「適切な」ステップ長を選択する必要があります。新しいポイントでの関数が現在のポイントよりも大きくなるような大きすぎるステップを実行したくない場合。同時に、収束するのに永遠に時間がかかるほどステップを小さくしすぎたくありません。 $p$ $f(x)$

Armijoの状態は、基本的に、「良い」ステップ長は、新しいポイントでを「十分に減少」させることを示唆しています。条件は、数学的に記載されてで下降方向である及び。 $f$

f （ {バツ}_{k} + α p_{k} ） \leq f （ {バツ}_{k} ） + β α \nabla f （ {バツ}_{k} ）^{T} p_{k}

$f(x_k+\alpha p_k)\leq f(x_k)+\beta\alpha\nabla f(x_k)^Tp_k$

p_{k}

$p_k$

x_{k}

$x_k$

β \in (0, 1)

$\beta\in(0,1)$

$f(x_k+\alpha p_k)$ $x_k$ $p_k$

— ポール
ソース

β

$\beta$

α

$\alpha$

これがまったく重要な理由、つまり「良い」ステップが必要な理由は、Paulが言うように、多くの最適化スキームの収束が遅くなるか、まったく収束しない可能性があるためです。そのため、いくつかの種類がありますが、Armijoが最も人気のあるラインサーチを使用して、より堅牢な収束特性をアルゴリズムに与えることができます。

— cjordan1

ポール：あなたの説明は不完全です。この不平等だけでは、「十分な」減少を保証しません。実際、alpha = 0にすることはできますが、記述した不等式を満たします。重要な機能は、Armijoのルールがステップサイズをゼロから遠ざけることです。これは、別の不等式によって行われます。f（gamma * x_new）-f（x_old）> beta *（gamma * x_new-x_old）^ T * grad（f （x_old））

f (x) = x^{2}

$f(x) = x^2$

x_{k} = - 1

$x_k = -1$

p_{k} = - 2

$p_k = -2$

α

$\alpha$

f (x_{k} + α p_{k})

$f(x_k + \alpha p_k)$

α = 1 / 2

$\alpha = 1/2$

β > 1 / 2

$\beta > 1/2$

f (x_{k} + 1 / 2 p_{k}) = 0 > 1 - 2 β = f (x_{k}) + β α f^{'} (x_{k}) p_{k}

$f(x_k + 1/2 p_k) = 0 > 1 - 2 \beta = f(x_k) + \beta \alpha f'(x_k) p_k$

β

$\beta$

上記のコメントに追加するために、あなたはそれを言うかもしれません

β > 1 / 2

$\beta > 1/2$ 大きすぎます（Nocedal、Wrightは一般的な選択に言及しています）

β = 10^{- 4}

$\beta = 10^{-4}$ ）、しかし、一方で、

β

$\beta$ 上記の例を作成できます。

— ジョリスBierkens

5年後、この質問はまだ有効です。

ここ（16ページと17ページ）では、アルゴリズムを含む優れた説明を見つけることができます。

— ボヤン・フルンカス
ソース