近似数値微分によるニュートンラプソン近似の欠点

関数あり、ようなを見つけたいとします。Newton-Raphson法を使用する場合があります。しかし、これには微分関数を知っている必要があります。の分析式が利用できない場合があります。たとえば、は、実験値のデータベースを参照する複雑なコンピューターコードによって定義される場合があります。 $f$ $x$ $f(x)\approx 0$ $f'(x)$ $f$ $f$

しかし、が複雑な場合でも、小さな数字を選択してを計算することにより、特定のを近似できます。。 $f'$ $f'(a)$ $a$ $\epsilon$ $f'(a) \approx {f(a+\epsilon) - f(a)\over\epsilon}$

このアプローチには明らかに不利な点があると聞きましたが、それが何であるかはわかりません。ウィキペディアは、「この近似を使用すると、ニュートンの方法よりも収束が遅い割線法のようなものになる」と示唆しています。

誰かがこれについて詳しく説明し、この手法の問題を特に説明するリファレンスを提供できますか？

reference-request approximation

— マーク・ドミナス
ソース

secantメソッドは、導関数の計算が高価な場合の優れた代替手段です。3段割線は一般に2段ニュートンとほぼ同等であり、より安価です。

（提案しているように）有限差分によって導関数を数値的に計算するときは常に、関数内のノイズが増幅されるため、イプシロンを慎重に選択する必要があります。1つの可能性は、解に近づいたときに、2分割法に切り替えることです。fが局所的に単調である限り、収束することが保証されています。

— マイクダンラベイ

アンドレが述べたように、2点の数値微分は、あなたが提案するように、再開されたセカント法と同等です。ただし、収束を高速化するために、いわゆるイリノイアルゴリズムをお勧めします。これは、Secantメソッドに近いもので、ステップごとに1つのポイントのみを使用します（2つではなく）。間違った位置の方法。

— ペドロ

の次元は何ですか？次元が高いほど、デリバティブはより価値があります。ヤコビアンフリーのニュートンクリロフは、明示的な微分を必要としないオプションです（ただし、条件の悪いシステムでは前提条件が重要です）。

x

$x$

— ジェドブラウン

表記のために、（つまり、ベクトルを入力として受け取り、同じサイズのベクトルを出力するベクトル値関数）を想定します。懸念事項は2つあります。計算コストと数値精度です。 $f: \mathbb{R}^{n} \rightarrow \mathbb{R}^{n}$

誘導体算出（ヤコビ行列を、又は、または任意のお好み）有限差分を用いては必要としようとしているの機能評価を。定義から直接浮動小数点演算を使用して導関数を計算できる場合、差分商を計算する必要があります $\mathrm{D}f(x)$ $J(x)$ $(\nabla f(x))^{T}$ $n$

\begin{aligned} D f （ バツ ） e_{私} = \underset{ε \to 0}{リム} \frac{f （ バツ + ε e_{私} ） - f （ バツ ）}{ε} \end{aligned}

$\begin{align} \mathrm{D}f(x)e_{i} = \lim_{\varepsilon \rightarrow 0} \frac{f(x + \varepsilon e_{i}) - f(x)}{\varepsilon} \end{align}$

それぞれについて、のスパースパターンあなたが知っている（または検出することができます）ので、あなたが（カーティス・パウエルレイドのような）「差分スマート有限」の任意の並べ替えをしないと仮定すると、。が大きい場合、多くの関数の評価になる可能性があります。分析式がある場合、それを計算する方が安くなる可能性があります。また、自動（アルゴリズムとしても知られている）微分法を使用して、関数評価のコストの約3〜5倍でを計算することもできます。 $i = 1, \ldots, n$ $\mathrm{D}f$ $n$ $\mathrm{D}f$ $\mathrm{D}f$

数値的な懸念もあります。明らかに、コンピューターでは、ゼロになるスカラーの制限をとることができないため、を近似すると、を実際に「小さい」ものとして計算します。 $\mathrm{D}f$ $\varepsilon$

\begin{aligned} D f （ バツ ） e_{私} \approx \frac{f （ バツ + ε e_{私} ） - f （ バツ ）}{ε} 、 \end{aligned}

$\begin{align} \mathrm{D}f(x)e_{i} \approx \frac{f(x + \varepsilon e_{i}) - f(x)}{\varepsilon}, \end{align}$

ここで、は近似値であることを意味し、本当に良い近似値であることを願っています。あなたが選ぶ場合ので、浮動小数点演算では、この近似を計算することは難しいです大きすぎる、あなたの近似が悪いかもしれないが、あなたが選ぶ場合はが小さすぎ、大きな丸め誤差がある可能性があります。これらの効果は、表面的な詳細における数値微分に関するウィキペディアの記事で説明されています。より詳細なリファレンスは記事内で見つけることができます。 $\approx$ $\varepsilon$ $\varepsilon$

ヤコビ行列の誤差が大きすぎない場合、ニュートンラプソンの反復は収束します。詳細な理論解析については、Nick Highamによる 精度と安定性の数値アルゴリズムの第25章、またはそれが基づいているFrançoiseTisseurの論文を参照してください。 $\mathrm{D}f$

通常、ライブラリはこれらのアルゴリズムの詳細を処理し、通常、Newton-Raphsonアルゴリズム（またはその変形）のライブラリ実装は非常にうまく収束しますが、多くの場合、欠点のために問題を引き起こす問題があります上記。スカラーの場合、その堅牢性と実際の良好な収束率のために、ブレントの方法を使用します。 $(n = 1)$

— ジェフ・オックスベリー
ソース