反復法の「収束率」を理解する

ウィキペディアによると、収束率はベクトルノルムの特定の比率として表されます。さまざまな時点（基本的に、反復の「開始時」と「終了時」）での「線形」レートと「2次」レートの違いを理解しようとしています。次のように言えますか？

• 線形収束の場合、反復の誤差$e_{k+1}$のノルムは区切られます$x_{k+1}$$\|e_k\|$

• 二次収束では、反復の誤差のノルムは区切られます$e_{k+1}$$x_{k+1}$$\|e_k\|^2$

このような解釈は、線形収束アルゴリズムA1の少数（少数）の反復（ランダム初期化を想定）で、2次収束アルゴリズムA2の反復でより小さなエラーが達成されることを意味します。ただし、エラーは減少し、2乗するため、後で繰り返すと、A2のエラーが小さくなります。

上記の解釈は有効ですか？レート係数は無視されることに注意してください。$\lambda$

実際には、はい。ながら依然として大きく、速度係数λはエラーではなく、Q-速度を支配します。（これらは漸近レートであるため、リンク先のステートメントはk → ∞の制限に対してのみ保持されることに注意してください。）$e_k$$\lambda$$k\to\infty$

たとえば、最適化の1次のメソッドでは、多くの場合、最初はエラーが急速に減少しますが、その後は低下します。一方、ニュートンの方法では、超線形（または2次）収束が始まるまでに時間がかかる場合があります（結局、局所的に超線形に収束するだけです）。そのため、ニュートン法に切り替える前にいくつかの勾配ステップで開始するか、最初に一次法として振る舞うホモトピー法または準ニュートン法を使用して、アプローチに近づくとニュートン法に変わることが一般的です目標。

クリスチャンの答えに加えて、それは線形収束のためにあなたが持っていることは注目にも価値があるあなたが持っているλ 1 < 1方法が収束する場合を。一方、二次収束のためにあなたが持っている電子のK + 1つの ≤ λ 2 E 2 K及び方法の収束が必ずしも意味するものではないという事実λ 2を 1よりも小さくする必要があります。むしろ、収束のための条件は、あるλ 2 E 1 < $e_{k+1} \le \lambda_1 e_k$$\lambda_1<1$$e_{k+1} \le \lambda_2 e_k^2$$\lambda_2$$\lambda_2 e_1<1$-つまり、最初の推測が十分に近いこと。これは一般的に観察される動作です。線形収束アルゴリズムは通常、より堅牢であるのに対し、収束するために二次収束アルゴリズムをソリューションから「十分に」開始する必要があります。これは、より効率的なアルゴリズム（ニュートン法など）に切り替える前に、線形収束アルゴリズムのいくつかのステップ（たとえば、最急降下法）から始めることが多いもう1つの理由です。

解釈は質的に正しいです。

線形および二次収束は最悪の場合に関するものであり、特定のアルゴリズムの状況は、Wolfgang Bangerthが提供する最悪の場合の分析から得られるものよりも優れている場合がありますが、定性的な状況は通常この分析に対応します。

具体的なアルゴリズム（たとえば、最適化）では、まず安価で線形収束性の方法で処理が遅くなるまで繰り返してから、二次（または少なくとも超線形）収束性の方法で終了することが理にかなっています。実際には、最初のゆっくりと収束する部分が全体の作業を支配する傾向があるという理由だけで、超線形収束は二次収束と同じくらい良い傾向があります。