アルゴリズムの進歩とハードウェアの高速化

過去数十年のコンピュータープログラムで見られたスピードアップのほとんどは、より高速なハードウェアではなく、より良いアルゴリズムによるものだと主張した研究や記事を見たことを思い出します。誰もが研究や記事を知っていますか？

これは意図しない複雑な質問です。ソフトウェアの利益がハードウェアの利益を上回っているというこの考えは、実際の政府報告書に明らかに根ざしていますが、（あなたの質問が示すように）誤解されたり誤解されたりすることで、都市の伝説的地位に近づいている可能性があります。要約/サウンドバイトの見出しは、実際にレポートで作成されたポイントと一致しません。

[1]または[2]を参照してください

昨年12月に公開された独立した科学技術顧問グループによるレポートは、ソフトウェアアルゴリズムの改善から生じるコンピューティングタスクの実行におけるパフォーマンスの向上が、より高速なプロセッサに起因するゲインをはるかに上回ることが多いことを示す研究を引用しました。
...
しかし、ホワイトハウスのアドバイザリーレポートは、ベンチマーク生産計画タスクに関する15年間にわたる進捗状況の調査を含む調査を引用しています。その間、計算の完了速度は4,300万倍に向上しました。ドイツの科学者で数学者のマーティン・グロッシェルによる調査によれば、合計のうち、約1,000倍はプロセッサーの高速化によるものでした。しかし、43,000の要因は、ソフトウェアアルゴリズムの効率の改善によるものです。

しかし、ソフトウェアとハ​​ードウェアの問題は、この1次元の単純化とはほど遠い、はるかに複雑であり、Lohrsのブログではより正確です。ソフトウェアとハ​​ードウェアは陰陽の共生融合のようなものであり、何十年も。

警告/細かい印刷：特定のソフトウェアアルゴリズム（個々の場合は非常に重要な場合があります）で個々のゲインを取得することはできません。

レポートからの実際の引用は71ページにあります：

さらに注目すべきは、そしてあまり広く理解されていませんが、多くの分野で、アルゴリズムの改善によるパフォーマンスの向上は、プロセッサ速度の向上による劇的なパフォーマンスの向上を大きく上回りました。今日、音声認識、自然言語翻訳、チェスの演奏、ロジスティックスの計画に使用するアルゴリズムは、過去10年間で著しく進化しました。ただし、実行時間と同じくらい品質の領域にあるため、改善を定量化することは困難です。

したがって、この政府報告書は高度に研究され洗練されており、一部の分野における理論的なソフトウェアの進歩による大きな利益の基本的な主張は正しいものであり、部分的には（理論/アルゴリズム）研究を推進しています。

しかし、近年いくつかの新しい/最近の基本的/大規模な現象/トレンド/シフト、またはIntels Groveがハードウェア対ソフトウェア設計で発生する「変曲点」と呼ぶものがあります。別名「ゲームチェンジャー」：

• ハードウェアスケーリングの制約により、「Exascale」スーパーコンピューティングの台頭は「Petascale」ほど容易には達成されない可能性があります
• クロック速度は、以前の速度向上の主な要因であり、横ばい状態になっています（一部は、熱/冷却の制約による）
• ハードウェアは、モバイル、データセンター/仮想化/クラウドなど、計算集約性が低く、エネルギー効率の高いデバイスへの大きなシフトを経験しています
• したがって、ソフトウェアとハ​​ードウェアの並列性の改善（「マルチコア」など）は、パフォーマンスの改善にとってより重要になります（アルゴリズムの並列化方法については理論が多く語っています）。

[1] skeptic.se、アルゴリズムの進歩はハードウェアの進歩を打ち負かす

[2] LohrによるMoores law NYTブログを上回るソフトウェアの進歩

[3] デジタル未来を設計する大統領と会議への報告：連邦政府の資金による研究と開発 2010年12月ネットワークおよび情報技術