アルゴリズムの計算努力

9

$\mathcal{O} := \min_{x \in \mathbb{R}^n} f(x).$ $x_\text{opt}$ $x_0$ $x_\text{opt}.$ $x$ $\epsilon-$ $\mathcal{O}$

\frac{| | x - x_{opt} | |_{2}}{| | x_{0} - x_{opt} | |_{2}} \leq ϵ .

$\begin{equation} \frac{||x - x_{\text{opt}}||_2}{||x_0 - x_\text{opt}||_2} \leq \epsilon. \end{equation}$

次のプロパティを持つ close解を見つけるために、2つの反復アルゴリズムとが存在するとします。 $\mathcal{A}_1$ $\mathcal{A}_2$ $\epsilon-$ $\mathcal{O}$

いずれについても合計の計算努力、すなわち努力イテレーションごとに必要な反復の総数は、見つける近いソリューションは、両方のアルゴリズムでも同じです。 $\epsilon > 0,$ $\times$ $\epsilon-$
たとえば、反復ごとの努力は反復ごとの努力は $\mathcal{A}_1$ $O(n),$ $\mathcal{A}_2$ $O(n^2).$

あるアルゴリズムが他のアルゴリズムよりも好まれる状況はありますか？どうして？

convex-optimization complexity

— Suresh
ソース

14

反復全体で並列化する反復アルゴリズムの並列バージョンを実装することは、不可能ではないにしても、通常は非常に困難です。1つの反復の完了は、自然なシーケンスポイントです。1つのアルゴリズムで必要な反復が少ないが、反復ごとの作業が多い場合、このアルゴリズムを効率的に並列に実装できる可能性が高くなります。

これの例は線形計画法であり、主双対障壁（内点）メソッドは通常、非常に大きな問題でも数十回の反復のみを使用しますが、反復ごとの作業は非常に広範囲です。比較すると、シンプレックス法のさまざまなバージョンは通常、はるかに多くの反復を必要としますが、反復ごとの作業は少なくなります。実際には、内点法の並列実装は、シンプレックス法の並列実装よりもはるかに優れた並列効率を示しています。

— ブライアン・ボーチャーズ
ソース

7

私はいくつかの可能性を考えることができます：

両方のアルゴリズムが各反復でエラーを単調に減少させる場合、反復を停止するタイミングについてより多くの選択肢を提供するため、より安価な反復を使用する方が望ましい場合があります。

場合はである仕事と時間が、メモリ、あなたが好むかもしれない場合大きいです。は、を選択するのに十分な大きさであるかもしれませんなぜなら、メモリの使用はここであなたを制約する可能性が高いからです。 $\mathcal{A}_1$ $O(n)$ $O(n^k)$ $\mathcal{A}_2$ $k$ $k=2$ $\mathcal{A}_2$

これはおそらく、最適化について話している場合でも、他のクラスの反復問題について話している場合でも当てはまります。

— ビル・バース
ソース

スペースの制約については同意します。時間の複雑さに基づいて訴訟を起こすことができるのかと思っていました。

— Suresh、2013年