256GBのメモリ/ 48コアのLinux-マシンが大量のメモリを残してスラッシング/チョークを開始

マシン：Dell r815、CentOS 5.4、256GBのRAM、4 x 12コア。

275GBのファイルを持つアプリケーションがあります。一度に20GBのデータに対してインプレースソートを実行します。つまり、ビットを入れ替えて同じファイル内で置き換えます。これはすべて正常に動作します。

最後のパスでは、ファイル全体を読み取り、20GBの異なるチャンクでマージソートを実行し、それらをまったく新しいファイルに出力します。

このプロセスは、しばらくの間正常に動作するためにSEEMSを実行し、最終的にディスクに約50GBをフラッシュします。この後しばらくして、完全なマシンがフリークアウトし始めます。

以下のような単純なコマンドはps -ef、ls -al長い時間のためにハングアップすると（ただ一つのコアである）、100％のCPUを取るように表示されます。

のメモリ統計topを見ると、約120GBのRAM（128GBの空き容量）を使用しており、「キャッシュ」セクションの下に120GBあることがわかります。

誰もこのような行動を見たことがありますか？64GBのメモリを搭載したマシンでも同じプロセスが正常に実行されます。そのため、マシンに搭載されているRAMのマウントに何らかの関係があると思います。

（私たちが話すように、ハードウェアの問題を除外するために、64GBを除くすべてでこのマシンでテストを実行しています）。

おそらくいくつかのvmパラメータが欠落してい/etc/sysctrl.confますか？

ありがとう！

あなたの質問は、私が最近読んだことを思い出させてくれました。

http://jcole.us/blog/archives/2010/09/28/mysql-swap-insanity-and-the-numa-architecture/

これは、NUMAアーキテクチャ（たとえば48コアAMDシステムで見られるような）がメモリの割り当てとスワッピングにどのように影響するかを示します。これがあなたが実行しているものであるかどうかはわかりませんが、読む価値があるほど十分に似ているように聞こえました。

たとえそれが答えでなくても、魅力的な読書になります。

したがって、これは64ビットCentos 5.4および64ビットFedora 14のカーネルバグのように見えました。Centos5.5をインストールすると、問題はなくなりました。

すみません、みんなにもっと良い答えがありません...

/etc/sysctl.confに行を追加して、絶対に必要な場合にのみスワップを使用するように指定できます。

swappiness = 0

このファイルがグローバル設定を定義していることを既にご存じかもしれません。そのため、この変更が環境で実行されている他のアプリケーションに与える影響を考慮する必要があります。

一時スペースはどこですか。多くの場合、tempfs上にあります。tempfsは、スワップスペースによってバックアップされたメモリからスペースを取得します。したがって、tempfsの内容が多くなりすぎると、スワップI / Oがトリガーされます。

マージするデータのサイズを考えると、最終的なマージを実行するときのスワップ性が期待できます。

スワップストレージを複数のディスクに分散すると役立つ場合があります。

スワップをヒットしていない場合でも、I / Oに縛られている可能性があります。ls情報はこれを示唆しています。

出力を見て、dstat -dfディスクの統計情報を表示しdstat -afます（すべての列のCPU使用率を表示し、48個のコアがあり、これが何十億の列幅になります）。

すべてのCPUがビジーであった場合（マージの並べ替えはCPUを集中的に使用するタスクではありません）、驚くでしょうが、I / Oシステムについては何も言いません。ディスクが少なく、ファイルがたくさんある場合は、ディスクをスラッシングして、各ファイルへのシークを行い、マージソートを維持します。