ループの展開がまだ役立つ場合はいつですか？

ループのアンロールによって、パフォーマンスが非常に重要なコード（モンテカルロシミュレーション内で何百万回も呼び出されるクイックソートアルゴリズム）を最適化しようとしています。これは私がスピードアップしようとしている内側のループです：

// Search for elements to swap.
while(myArray[++index1] < pivot) {}
while(pivot < myArray[--index2]) {}

私は次のようなものに展開してみました：

while(true) {
    if(myArray[++index1] < pivot) break;
    if(myArray[++index1] < pivot) break;
    // More unrolling
}


while(true) {
    if(pivot < myArray[--index2]) break;
    if(pivot < myArray[--index2]) break;
    // More unrolling
}

これはまったく違いがなかったので、より読みやすい形式に戻しました。ループのアンロールを試みたときも、同様の経験をしました。最新のハードウェアでの分岐予測子の品質を考えた場合、ループの展開が依然として最適な有用な最適化となるのはいつですか？

依存関係のチェーンを解除できる場合、ループの展開は理にかなっています。これにより、順不同またはスーパースカラーCPUに、より適切にスケジュールを設定して、より高速に実行できるようになります。

簡単な例：

for (int i=0; i<n; i++)
{
  sum += data[i];
}

ここで、引数の依存チェーンは非常に短いです。データ配列のキャッシュミスのためにストールが発生した場合、CPUは待機する以外に何もできません。

一方、このコード：

for (int i=0; i<n; i+=4)
{
  sum1 += data[i+0];
  sum2 += data[i+1];
  sum3 += data[i+2];
  sum4 += data[i+3];
}
sum = sum1 + sum2 + sum3 + sum4;

より速く実行できます。1つの計算でキャッシュミスまたはその他のストールが発生した場合、ストールに依存しない依存関係チェーンが3つあります。故障したCPUがこれらを実行できます。

同じ数の比較を行っているので、これらは違いを生じません。これはより良い例です。の代わりに：

for (int i=0; i<200; i++) {
  doStuff();
}

書く：

for (int i=0; i<50; i++) {
  doStuff();
  doStuff();
  doStuff();
  doStuff();
}

それでもほとんど問題にならないでしょうが、今では200ではなく50の比較を行っています（比較がより複雑であると想像してください）。

ただし、一般に手動ループの展開は、主に歴史の成果物です。これは、優れたコンパイラーが重要な場合に役立つことの増え続けるリストの1つです。例えば、ほとんどの人が書くこと気にしないx <<= 1か、x += x代わりにx *= 2。あなたが書くだけx *= 2で、コンパイラーはあなたのためにそれを最適なものに最適化します。

基本的に、コンパイラーを推測する必要性はますます少なくなっています。

最新のハードウェアでの分岐予測に関係なく、ほとんどのコンパイラーはとにかくループの展開を行います。

コンパイラーがどれだけ最適化しているかを調べることは価値があります。

Felix von Leitnerのプレゼンテーションは、この主題について非常に啓発的であることがわかりました。ぜひお読みください。概要：最新のコンパイラーはとても賢いので、手の最適化はほとんど効果がありません。

私が理解している限り、最新のコンパイラはすでに適切な場所でループを展開しています-例としてgccがあり、最適化フラグを渡した場合、マニュアルでは次のように述べています。

コンパイル時またはループへの入り口で反復回数を決定できるループを展開します。

そのため、実際には、コンパイラが簡単なケースを実行する可能性があります。したがって、必要な反復回数をコンパイラーが簡単に判別できるように、ループのできるだけ多くを容易にすることは、あなた次第です。

ループの展開は、手動で展開した場合でも、コンパイラーで展開した場合でも、特に最近のx86 CPU（Core 2、Core i7）では逆効果になることがよくあります。結論：このコードを展開する予定のすべてのCPUで、ループアンロールを使用して、または使用せずにコードをベンチマークします。

知らずに試すことは、それを行う方法ではありません。
この種の処理は全体の時間のかなりの部分を占めますか？

ループのアンロールは、インクリメント/デクリメント、停止条件の比較、およびジャンプのループオーバーヘッドを削減するだけです。ループで実行している処理が、ループのオーバーヘッド自体よりも多くの命令サイクルを必要とする場合、パーセンテージで大幅な改善は見られません。

最大のパフォーマンスを得る方法の例を次に示します。

ループの展開は、特定の場合に役立ちます。唯一の利点は、いくつかのテストをスキップしないことです！

たとえば、スカラー置換、ソフトウェアプリフェッチの効率的な挿入が可能になります...積極的に展開すると、実際にそれがどれほど有用であるか（-O3を使用しても、ほとんどのループで10％の速度向上が簡単に得られます）と驚くでしょう。

ただし、前述のとおり、ループに大きく依存し、コンパイラと実験が必要です。ルールを作成するのは難しい（または展開するためのコンパイラのヒューリスティックは完璧になるだろう）

ループの展開は問題のサイズに完全に依存します。それはあなたのアルゴリズムがサイズをより小さな作業グループに縮小できるかどうかに完全に依存しています。上記で行ったことは、そのようには見えません。モンテカルロシミュレーションを展開できるかどうかはわかりません。

ループ展開の良いシナリオは、画像を回転することです。別々の作業グループをローテーションできるからです。これを機能させるには、反復回数を減らす必要があります。

ループ内とループ内の両方にローカル変数が多数ある場合でも、ループのアンロールは役立ちます。ループインデックス用にレジスタを保存する代わりに、これらのレジスタを再利用します。

あなたの例では、レジスタを使いすぎずに、少量のローカル変数を使用します。

（ループ終了への）比較は、比較が重い（つまり、非test命令）場合、特に外部関数に依存する場合にも、大きな欠点です。

ループのアンロールは、分岐予測に対するCPUの認識を高めるのにも役立ちますが、それでもとにかく発生します。