ランダムアクセスメモリの下限?


8

ここに私をうんざりさせているおそらく素朴な質問があります:任意に大きなメモリをランダムにアドレス指定するための漸近的下限はありますか?私の信念の原因は、物理的に保存されたメモリへの最短経路は3次元空間を経由する必要があり、ここの対角線は最小限の長さでなければならないということです。Ω

たとえば、任意の数の要素を並べ替える場合、これらの要素をアドレス指定すると、最終的には距離に比例するコストがかかります。また、空間内のすべての単一点間に高速ケーブルがある場合でも、幾何学的制限があるように見えますより高い。Ωlg

私の議論の何が問題になっていますか?

回答:


6

レイテンシについて話しているなら、そうですね。光速を考慮すると、距離の下限はレイテンシの下限を意味します。ただし、実際には、メモリの量が非常に大きくなるまで、これらの光速の考慮事項はおそらく支配的ではありません。

ちなみに、待機時間ではなく、帯域幅(つまり、1秒あたりに実行されるランダムアクセスメモリ操作の数)について話している場合、状況は異なります。ソーティングネットワークを使用することにより、多くのランダムアクセスメモリ操作を同時に処理できます。

重要な注意点の1つは、左側に1つの大きなCPU、右側に1つの大きなメモリがあり、それらが何らかの方法で分離されているアーキテクチャを想定しているように見えることです。ただし、これが必ずしも計算を構成する唯一の方法ではありません。たとえば、並列計算として計算を構成することもできます。この場合、それぞれがローカルの作業メモリを備えた小さなプロセッサの2次元または3次元のメッシュがあります。ローカルメモリへのアクセスは非常に高速になり、遠方のメモリへのアクセスは遅くなります。ある意味で、またはバインドされた操作がまだありますが、 ローカルメモリの方が遠方のメモリよりもはるかに小さいため、ほとんどのメモリ操作がローカルメモリに対して行われるようにアルゴリズムが設計されている場合、説明した下限を「打ち破る」ことができます(一部の感覚)。

コンピュータアーキテクチャでは、メジャーによって回路のパフォーマンスを測定することがよくあります。つまり、回路の面積()に、回路が計算を完了するのにかかる時間()を掛けます。必要に応じて、これを価格対性能比として考えることができます。これは、価格(回路の面積に比例すると見なされます)を性能(1回あたりに実行できる計算の数)で割ったものです2番目、つまりの逆TTT)。単一の強力なCPUと1つの大きなメモリを備えた標準アーキテクチャは、常に最適なアーキテクチャであるとは限りません。場合によっては、並列計算またはその他のアーキテクチャを使用することで、(一定の係数よりも)大幅に高速化することができます。これは、少なくとも部分的には、おっしゃった問題が原因です。離れた場所にあるメモリにアクセスするよりも、近くにあるメモリにアクセスする方がはるかに高速です。キャッシング(L1キャッシュ、L2キャッシュなど)も同じ原理に基づいています。

以下は、暗号解読タスク用の専用回路の設計を検討し、これらの問題を考慮に入れる暗号の世界の論文の例です。たとえば、プロセッサの集合、大きなメモリ、2つのプロセッサの間にメモリアクセスをルーティングするための2つの間にソーティングネットワークがあります。これにより、レイテンシが解消されなくても、多数のメモリ操作を一度に「処理中」にすることができます。


この考え方についてさらに詳しく知りたい場合は、適切なメトリックが面積なのか体積なのか、つまり右下限がか。はい、世界は三次元ですが、熱放散は二次元です。コンピュータの巨大な立方体は、その体積ではなく表面積に比例する熱を放散する能力によって制限されます。この流れで先へ進むことができます。これが興味深いトピックのように聞こえる場合は、次のペーパーのQ.9(pp.45-46)を参照してください。


どうもありがとう!これは私が想像していたよりも多くの視点を追加しました。:)
Simon Shine

2

制限された通信速度、ユニットサイズの下限、および固定空間次元の影響を受けやすい計算(および計算の形式として表示できるメモリ)の関連する下限を参照してください。

デビッドC.フィッシャー:お気に入りの並列アルゴリズムは思ったほど速くないかもしれません。IEEEトランス。コンピュータ37(2):211-213(1988)

dNd+1


2

O

明らかにワームホールを見つければ、この制限は解除されます。その場合、コンピュータをポケットユニバースでも実行できます。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.