どのアルゴリズムについて、理論的分析と現実の間に大きなギャップがありますか？

アルゴリズムの効率を分析する2つの方法は次のとおりです。

1. ランタイムに漸近的な上限を設定する
2. 実行して実験データを収集します。

（1）と（2）の間に大きなギャップがある既知のケースがあるのだろうか。これにより、（a）実験データがより厳密な漸近を示唆するか、（b）理論分析がXがYよりはるかに優れていることを示唆し、実験データがYがはるかに優れていることを示唆するようなアルゴリズムXおよびYがあることを意味しますバツ。

実験では通常、平均ケースの動作が明らかになるため、最も興味深い答えは平均ケースの上限を参照するものと期待しています。ただし、シンプレックスに関するNoamの回答など、さまざまな境界について話す興味深い回答を除外したくありません。

データ構造を含めます。回答ごとに1つのアルゴ/ DSを入力してください。

最も目立つ例は、もちろん、実際には迅速に実行されるシンプレックス法で、ポリタイムを示唆しますが、理論的には指数関数的な時間がかかります。ダンスピルマンは、この謎を説明したことでネバンリンナ賞をかなりの程度獲得しました。

より一般的には、整数プログラミングの多くのインスタンスは、標準のIPソルバーを使用して非常によく解決できます。 /teaching/cgt/combinatorial-auctions-survey.pdf

グレブナーベース。最悪の場合の実行時間は、（変数の数で）二重指数関数です。ただし、実際には、特に構造化された問題の場合、F4およびF5アルゴリズムが効果的です（つまり、非常に迅速に終了します）。平均実行時間または予想実行時間に関して適切な推測でさえ何をすべきかを解明することは、依然として研究の活発な分野です。どういうわけか、それは根本的な理想のニュートン多面体の体積に関係していると推測されます。

この現象のよく知られている例は、グラフ同型です。最もよく知られているアルゴリズムは、、しかしグラフ同型は実際には非常に迅速に解ける傾向がある。 $O(2^{(\sqrt{(n log n)})})$

問題の平均的/スムーズな複雑さに正式な結果があるかどうかはわかりませんが、それが存在することを読んだことを覚えています。確かに、多くの実験的証拠と多くの高速ソルバーがあります。また、このプロパティがGIコンプリートファミリーの他のメンバーにまで及ぶかどうかも知りたいです。

David Johnsonから、理論的近似と実験的近似比の不一致： 巡回セールスマン問題：ローカル最適化のケーススタディ、DS JohnsonおよびLA McGeoch。この論文では、理論的漸近を無視する漸近の実験的証拠を示しています（実験はサイズN = 10,000,000まで実行されます！）：Jon Bentleyの "Greedy"または "Multi-Fragment"アルゴリズム（少なくともlogN / loglogN）は、ニアレストインサーションとダブルMSTを破ります。どちらも最悪の場合の近似比は2です。

最近までよく理解されていなかった別の例は、ロイドのk-meansアルゴリズムの実行時間です。これは（実用的な観点から）50年以上にわたって選択のクラスタリングアルゴリズムでした。ごく最近になって2009年に、最悪の場合、ロイドのアルゴリズムは入力ポイントの数で指数関数的な反復を必要とすることが（Vattaniによって）証明されました。一方、同時に、平滑化された分析（Arthur、Manthey、Röglinによる）は、平滑化された反復回数が単なる多項式であることを証明しました。これにより、経験的なパフォーマンスが説明されました。

スプレイツリーの動的最適性推測のトラバース、デキュー、およびスプリットの結果は、このようなギャップの例です。実験は線形時間の主張を裏付けていますが、既知の証拠はありません。

質問にはわずかな問題があります。実際には、アルゴリズムを分析する方法は2つ以上あり、無視されている理論的な方法の1つは、最悪の場合の実行時間ではなく、予想される実行時間です。実際に、この平均的なケースの動作が実験の実施に関連しています。非常に簡単な例を次に示します。サイズnの入力用のアルゴリズムがあるとします。サイズnの可能な入力ごとに時間nがかかり、各長さの特定の入力には2 ^ nがかかります。最悪の場合の実行時間は指数関数ですが、平均的な場合は[（2 ^ n -1）n +（2 ^ n）1] /（2 ^ n）= n-（n-1）/ 2 ^ nですnに制限します。明らかに、2つのタイプの分析は非常に異なる答えを与えますが、異なる量を計算しているので、これは予想されることです。

実験を何回も実行することにより、サンプルの実行時間が最も長くても、可能な入力のスペースのごく一部のみをサンプリングしているため、ハードインスタンスがまれな場合は見逃す可能性があります。

このような問題の構築は比較的簡単です。最初のn / 2ビットがすべてゼロの場合、最後のn / 2ビットでエンコードされた3SATインスタンスを解くよりも簡単です。それ以外の場合は拒否します。nが大きくなると、問題の実行時間は最悪の場合、3SATの最も効率的なアルゴリズムとほぼ同じになり、平均実行時間が非常に短くなることが保証されます。

Damas-Milner型の推論は指数関数的な時間で完全であることが証明されており、結果のサイズが指数関数的に大きくなるケースが簡単に構築されます。それにもかかわらず、ほとんどの実際の入力では、効果的に線形に動作します。

平面グラフのシュタイナーツリーのPTASは、イプシロンにとてつもなく依存しています。ただし、実際には驚くほど良いパフォーマンスを示す実装があります。

[1]からのペアリングヒープ-ヒープを実装します。挿入とマージはO（log n）で償却された複雑さを持ちますが、O（1）と推測されます。実際には、特にマージのユーザーにとっては非常に効率的です。

私はちょうど今日、Secを読んでいるときにそれらを発見しました。C.岡崎の著書「純粋に機能的なデータ構造」の5.5なので、私はそれらについての情報を共有すべきだと思いました。

[1] ML、フレドマン、R.、Sedgewick、R.、DD、Sleator、および1986年、タージャン。ペアリングヒープ：自己調整ヒープの新しい形式。Algorithmica 1、1（1986年1月）、111-129。DOI = http://dx.doi.org/10.1007/BF01840439

分岐と束縛に関するイリヤラスの発言に関連して、パタキ等。分岐および境界プラス格子基底縮小により、ポリタイムでほぼすべてのランダムIPを解決できることを示します。

TSPのLin-Kernighanヒューリスティック（「巡回セールスマン問題の効果的なヒューリスティック」、Operations Research 21：489–516、1973）は実際には非常に成功していますが、そのパフォーマンスを説明するための平均ケース分析または平滑化分析がまだありません。それとは対照的に、マティアス・エングラルト、ヘイコ・レグリン、およびベルトルト・ベッキング（登場するアルゴリツミカ）によるTSPの2-optヒューリスティックの平滑化された分析があります。

厳密に分析できないさまざまなNP困難な問題に対して、TSP、シュタイナーツリー、ビンパッキングなど、実際には非常に高速で効率的な分岐およびバインドアルゴリズムが多数あります。

$\Omega(nm)$