高いI / Oシステムのハング


5

私は大量のデータをpostgresにインポートしようとしているFedora 20ボックスを持っています(数十億行)。システム仕様:

16GB RAM、6コア3.2 GHz、500GB RAID0 PCIe SSD

I / O負荷が非常に高くなる(インデックス作成時など)たびに、しばらくすると(ソフト)ボックスがハングします。キーボードの割り込みが機能しない、キャップがロックされない、HDDが消灯する。

ぶら下がる前に、UIは非常に遅くなり、再描画時にちらつきます。I / Oスケジューリングを調整して、SSD RAID0と低速のSATAディスクで実行しようとしました。また、非ソフトRAIDでバックアップされたストレージのコンボを試みましたが、md0が原因でRAID0になっています。基本的に、高I / Oではシステムは使用できず、しばしばクラッシュします。

温度、RAM使用量、CPU使用量はすべて問題ありません。MemcheckはCPUテストと同様に問題ありません。

それはマザーボードの障害であると考え始めましたか?ソフトウェアを賢く試すことができる他の何か?この量のI / Oロックアップは正常ではないと確信しています。


このデータのインポート中にのみ発生しますか?Postgresにどの程度正確にインポートしていますか?
Ƭᴇcʜιᴇ007

大きなファイルをコピーすると、システムは停止しますが、ディスクIOが終了すると回復します。データは、ディスクIOにバインドされたインポートツールを介したOSMデータベースダンプです。ネットワークではなくローカルソケットを介してインポートします。SSDに700MB / sの書き込みを取得しましたが、クラッシュのためインポートを完了できません。
アイデンベル14年

また、メモとして、カーネルクラッシュダンプを有効にしていますが、システムがハングしているため、デバッグするダンプを取得できません。
アイデンベル14年

だから、ファイルddから大きな/dev/zeroファイルでさえ、最終的にシステムをハングさせるでしょう(ファイルシステムがいっぱいなどのためではありません)?
rickhg12hs 2014年

いいえ、ファイル転送はpsudo-fileからではなく、単にディスク間で遅いだけです。興味深いことに、大きなディスクIOを実行すると、システムは正常に見える場合がありますが、マウスを動かしたりキーを押したりすると、全体が約30秒間停止します。IOを評価し、IO間のOSの切り替えがボトルネックですが、システムをクラッシュさせてクラッシュさせるのに十分ですか?
アイデンベル14年

回答:


0

マザーボードを交換しました。これでインポートの問題は解決しましたが、集中的なI / Oを実行すると、システムが短時間ハングします。ソフトウェアRAID(md)を削除しましたが、それが助けになったようです。


0

たぶんあなたはあなたのを確認することができますautovacuum。多数の新しい行を追加するときに、autovacuum_vacuum_thresholdパラメーターを増やすか、自動バキュームを完全に無効にすることができます。iotopおよびなどのツールを使用してiostat、システムのI / Oに関する詳細情報を取得します。

autovacuumの詳細については、こちらをご覧ください

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.