最大スループットのためのLinuxディスクキャッシュ動作の調整

ここで最大スループットの問題に直面しているため、ノブを調整する方法についてのアドバイスが必要です。バックアップ配布用に10Gbitファイルサーバーを実行しています。これは、LSI MegaRAIDコントローラ上の2ディスクのS-ATA2セットアップです。サーバーは24gigのメモリも取得しました。

最後にアップロードしたバックアップを最大スループットでミラーリングする必要があります。

「ホット」バックアップ用のRAID0では、書き込みが約260 MB /秒、読み取りが約275 MB /秒です。サイズが20GBのtmpfsをテストすると、約1GB /秒になります。この種のスループットが必要です。

Linuxの仮想メモリサブシステムを調整して、最後にアップロードされたファイルをディスクに書き出さずにできるだけ長くメモリにキャッシュする（またはさらに良い方法：ディスクに書き込んでメモリに保存する）にはどうすればよいですか？

次のsysctlをセットアップしましたが、期待されるスループットを提供しません。

# VM pressure fixes
vm.swappiness = 20
vm.dirty_ratio = 70
vm.dirty_background_ratio = 30
vm.dirty_writeback_centisecs = 60000

理論上、これは I / Oのキャッシュに16GBを与え、ディスクへの書き込みまで数分待つ必要があります。それでも、サーバーのベンチマークを行っても、書き込みに影響はありませんが、スループットは増加しません。

ヘルプまたはアドバイスが必要です。

設定した変数を見ると、書き込みパフォーマンスにほとんど関心があり、停電によるデータ損失の可能性は気にしていないようです。

遅延書き込みのオプションと、非同期書き込み操作でのライトバックキャッシュの使用のみが可能になります。同期書き込み操作ではディスクへのコミットが必要であり、遅延書き込みは行われません。ファイルシステムが頻繁なページフラッシュと同期書き込みを引き起こしている可能性があります（通常、ジャーナリング、特にdata = journalモードのext3が原因）。さらに、「バックグラウンド」ページフラッシュでさえ、キャッシュされていない読み取りや同期書き込みに干渉するため、速度が低下します。

一般に、何が起こっているのかを確認するには、いくつかのメトリックを使用する必要があります。pdflushによってI / O作業が行われるのを待機しているコピープロセスが「D」状態になっていますか。ディスクに大量の同期書き込みアクティビティがありますか？

他のすべてが失敗した場合は、明示的にtmpfsファイルシステムをセットアップして、バックアップをコピーし、事後にディスクとデータを同期することを選択できます-inotify を使用して自動的に

読み取りキャッシュの場合、処理は非常に簡単です。ファイルのコンテンツをバッファキャッシュにロードするようカーネルに通知するパラメーターを持つfcoretools fadviseユーティリティがあり--willneedます。

編集：

vm.dirty_ratio = 70

理論的には、これによりI / Oのキャッシングに16GBが与えられ、ディスクへの書き込みまで数分待つ必要があります。

これはテストシナリオに大きな影響を与えることはありませんでしたが、理解には誤解があります。dirty_ratioパラメータは、システムの合計メモリの割合ではなく、システムの空きメモリの割合です。

より詳細な情報を含むWrite-Heavyロードのチューニングに関する記事があります。

または、単にディスクを追加してください...持っているドライブアレイ構成は、必要な全体をサポートしていません。これは、実際のニーズに合わせてソリューションを再設計する必要がある場合です。これはバックアップにすぎないことを理解していますが、気の毒な修正を避けることは理にかなっています。

メモリキャッシュを使用すると、何かがおかしくなった場合、メモリ内にありディスクに保存されていないデータが失われるため、データが失われる可能性があります。

ただし、ファイルシステムレベルで行うべきチューニングがあります。

たとえば、ext4を使用している場合、マウントオプションを試すことができます。

バリア= 0

つまり：「jbdコードで書き込みバリアの使用を無効にします。書き込みバリアは、ディスク上のジャーナルコミットの適切な順序付けを強制し、揮発性ディスク書き込みキャッシュを安全に使用します。パフォーマンスが低下します。マウントオプション「barrier」および「nobarrier」は、他のext4マウントオプションとの一貫性を保つために、バリアを有効または無効にするためにも使用できます。

詳細：http : //www.mjmwired.net/kernel/Documentation/filesystems/ext4.txt