mdadm RAID-6書き込み速度の向上


8

5x1Tb WD Green HDDのホームサーバーにmdadm RAID-6があります。読み取り速度は十分です-ddで268 Mb / s。しかし、書き込み速度はわずか37.1 Mb / sです。(48Gbファイルでddを介してテストされた両方、RAMサイズは1Gb、テストで使用されたブロックサイズは8kbです)

書き込み速度が非常に遅い理由を教えてください。それを改善する方法はありますか?書き込み中のCPU使用率はわずか25%(つまり、Opteron 165の1コアの半分)で、ビジネスに重要なデータはなく、サーバーはUPSでバックアップされています。

mdstatは:

Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sda1[0] sdd1[4] sde1[3] sdf1[2] sdb1[1]
      2929683456 blocks super 1.2 level 6, 1024k chunk, algorithm 2 [5/5] [UUUUU]
      bitmap: 0/8 pages [0KB], 65536KB chunk

unused devices: <none>

助言がありますか?

書き戻し、バリア、nobhのようなものは役に立ちませんでした。DD blocksize = 1M、8Mは何も変更しませんでした。mdadmは物理的にセクターを読み取って、問題がなくてもパリティを計算しているように見えます...正しいですか?

更新:ストライプキャッシュを変更した後の速度の低下は、実際には1台のHDDがテスト中に失敗した可能性があるためです。

解決済み:ストライプキャッシュを増やして外部ビットマップに切り替えた後、私の速度は書き込み160 Mb /秒、読み取り260 Mb /秒です。:-D


ちょっとバー..何を調整しましたか、そしてどの変更の後にパフォーマンスが120Mb / sに落ちましたか?私は同様の問題を抱えていますが、私のパフォーマンスが悪くな方法です:(任意の提案は便利おかげだろう!の!

私の場合、最適化の途中でdiskfailが発生しました:-)
BarsMonster '25年

回答:


9

/ sys / block / mdX / md / stripe_cache_sizeを調整してみましたか?

このフォーラムの投稿(ノルウェー語、申し訳ありません)によると、「このパラメーターの調整は、ディスクが多く、システムが高速であるほど重要です」:

私のシステムでは、値8192を使用して最高のパフォーマンスが得られます。デフォルト値の256を使用すると、書き込みパフォーマンスが66%低下します。

比較のために彼の速度を引用する:

ディスク:mdadm RAID6(-n 512)の8xSeagate 2TB LP(5900RPM)(stripe_size_cache = 8192)。

CPU:Intel X3430(4x2.4GHz、8GB DDR3 ECC RAM)

速度:387 MB /秒の順次書き込み、704 MB /秒の順次読み取り、1秒あたり669回のランダムシーク。

私のホームサーバーは、RAID 5を使用して、あなたとほとんど同じディスクを持っています。

ディスク:RAID 5で4x1.5TB WDグリーン(stripe_size_cache = 256-デフォルト)

CPU:Intel i7 920(2.66 GHz、6 GB RAM)

速度:60 MB /秒の順次書き込み、138 MB /秒の順次読み取り(Bonnie ++による)

したがって、シーケンシャル書き込みパフォーマンスは読み取りパフォーマンスの約50%のようです。

Linux Raid Wikiが期待するパフォーマンスについては、RAID 5について次のように述べています。

読み取りはRAID-0読み取りとほとんど同じですが、書き込みはかなり高価になる可能性があります(データベース操作などで正しいパリティ情報を計算できるようにするために、書き込みの前に読み取りが必要)、またはRAID-1と同様です。書き込み(より大きな順次書き込みが実行され、パリティが書き込まれる他のブロックから直接計算できる場合)。

RAID 6について:

読み取りパフォーマンスはRAID-5に似ていますが、書き込みパフォーマンスは低下します。


書き込み速度が15〜20 Mb / sに低下、読み取り速度が110に低下:-Sこれだけでは意味がありません:-(
BarsMonster

他の値を試して、何が起こるかを確認してください。これに関する専門家ではありませんが、md RAID 5にWD Greens(4x1.5TB)があり、書き込み速度が遅いという同じ問題があります。私のシステムは現在ダウンしていますが、私も最後に実験し、改善することができればここで更新します。
jg-faustus 2010

ところで:AHCIを有効にしていますか?どのファイルシステム-ext3、ext4?
jg-faustus 2010

AHCIについては不明です。BIOSを確認するのは非常に困難です。ext4。
BarsMonster 2010

くそー、120Mb / sの読み取り速度で立ち往生していて、私の268に戻ることができません:-(これはとてもイライラします... mdadmが3x90 Mb / sで線形にデータを読み書きできない理由がわかりません。 ..それはばかげている
BarsMonster

4

試す

echo 32768 > /sys/block/md0/md/stripe_cache_size

そしてチェック;)


以前の回答では、さまざまなstripe_cache_sizesをテストしていました。32768に設定しても何も改善されませんでした。アップグレード後も、書き込みが100Mb /秒以下です(E8500 CPU、8Gb ramおよび8x1Tbアレイ)
BarsMonster

不条理!これにより、書き込みパフォーマンスがすぐに 70MB /秒から360MB /秒に向上しました!?!何てことだ。WTFはこれがデフォルトではありませんか?!?
stolsvik 2013年

ああ私の言葉。これは実際に機能します... [================> ....]回復= 82.1%(1604609136/1953382144)終了= 122.7分速度= 47348K /秒から[ ================> ....]リカバリ= 82.3%(1607712880/1953382144)終了= 56.2min速度= 102451K /秒
Lmwangi

私のテストでは、8192の値で十分のようです。アレイでテストする必要のあるすべてのものを投げたにもかかわらず、stripe_cache_activeが低い7000を超えてスパイクすることができませんでした。
Jody Lee Bruchon、2015
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.