AMDがSSDをGPUボードに配置したことで、なぜレイテンシがそれほど減ったのですか？

AMDは最近、いくつかのM2 SSDを搭載した興味深いRadeon Proボードのニュースを発表しています。

より詳細なストーリーのいくつか（ここまたはここなど）が指摘しているように、メリットは主に高帯域幅から発生するわけではありません（M2はそれぞれ4つのPCIeレーン上にあるため、ボード自体の16レーンコネクタはさらに多くのはずです）。低レイテンシから。 このストーリーには、「これによりメモリアクセスのレイテンシが10分の1になる」という主張が含まれています。

私の質問は基本的に：GPUボード上のPCIe接続SSDは、システムPCIeバス上のメインシステムRAMまたはストレージデバイスにアクセスするGPUよりもレイテンシを大幅に短くする必要があるのはなぜですか？メインシステムの「邪魔になる」とは何ですか。また、オンボードSSDの方がはるかに高速にアクセスできます。

やや素人の視点から答えると（私はハードウェアの専門家ではありませんが、自分のコンピューターを構築しました）、料理用の食材を入手する状況を使用して、類推します。

「メインシステム」のRAM /ストレージを使用することは、食器棚でそれを見つけるのではなく、食材を探しているようなものです。たとえば、隣人のところに歩いて行き、何かあるか尋ねます。それは彼らがすることがわかりました。彼らはあなたにそれをもたらし、あなたは彼らに感謝し、あなたの家に戻ってそれを使います。

「オンボード」のRAM /ストレージを使用することは、食材を探して、食器棚で見つけて使用するようなものです。

オンボードRAM /ストレージを使用すると、GPUは必要な情報を取得するために必要な作業が少なくなります。また、情報は、物理的にも、情報が通過する必要のあるハードウェアおよびソフトウェアの量を検討する場合にも、より近くなります。オンボードのRAM /ストレージを使用すると、GPUは情報がどこにあるかを調べ、その情報をRAM /ストレージから取得するだけで済みます。この情報は、数インチのワイヤーを介してGPUの処理ユニットに送られます。

メインシステムのRAM /ストレージを使用すると、信号が通過するワイヤの距離が長くなりますが、これはほんの数分の1秒ですが、情報を取得するために何千回もの呼び出しを追加できます。また、相互に関連しているすべての異なる部分により、潜在的なボトルネックがさらに発生します。

最後に、オンボードRAM /ストレージを使用すると、AMDはハードウェアの使用を正確に制御しているため、システムを最適化する機会があります。これは、AppleがMac OSをMacコンピュータに合わせて調整する方法に似ています。