機械学習の設定のように聞こえます。 1080Tiの帯域幅は非常に高く、あなたが機械学習に必要とするよりはるかに高いです。 16レーンで4K、60FPSでゲームをプレイすることができます。
そのため、十分なPCI-eレーンがないため、理論的には速度が低下する可能性があります。あなたはそれらの解像度とフレームレートでその多くのカードを駆動するためにAMD Threadripperを必要とするでしょう。合計28レーンのX99プラットフォームでは、各カードに8レーンを割り当てることすらできません。
しかし機械学習では、ほとんどの時間は数学の実行に費やされます。 CPUとGPU間の通信速度は、はるかに限界を超えています。結局のところ、あなたはただ一つのSSDから入力データを取得するだけなので、それがおそらく限界になるでしょう。たとえSSD自体が限界ではないとしても、M2スロットはたった4レーンに制限されているので、それぞれの1080Tiに対して4レーンを持つことも問題にはなりません。
[編集]
Asus X99-WSの特定の設定を確認すると、2つのPLXチップを使用して2 x 16レーンを4 x 16レーンに4 GPUに多重化するように見えます。つまり、それぞれが最大16倍のスピードに達することができますが、同時には達成できません。それでも問題ではない、M2ボトルネックのままです。