タグ付けされた質問 「storage」

主にディスクストレージに関する質問です。アプリケーションストレージまたはクラウドストレージに関する質問もあります。データの保存について常に質問します。

9
VMware ESXサーバーに実際に使用しているストレージはどのようなものですか?
VMwareおよび多くのネットワークエバンジェリストは、洗練された(=高価な)ファイバーSANがVMware ESXおよびESXiサーバーの「唯一の」ストレージオプションであることを伝えようとします。ええ、もちろんです。SANの使用は高速で信頼性が高く、vMotionを可能にします。すばらしいです。しかし、すべてのESX / ESXiユーザーは本当にSANを購入できるのでしょうか? 私の理論では、この地球上のすべてのVMware ESXインストールの20%未満が実際にファイバーまたはiSCS SANを使用しています。これらのインストールのほとんどは、これに余裕のある大企業で行われます。ほとんどのVMwareインストールは「接続ストレージ」を使用すると予測します(vmdkはサーバー内のディスクに保存されます)。それらのほとんどは中小企業で実行され、それらの非常に多くがあります! ストレージが接続された2台のESX 3.5サーバーと、iSCS sanが搭載された2台のESX 4サーバーを実行します。そして、両者の「本当のライブの違い」はほとんど注目に値しません:-) この質問の公式統計を知っていますか?記憶媒体として何を使用しますか?

5
BBWC:理論上は良い考えですが、データを保存したことはありますか?
私はBBWC(バッテリーバックアップ式書き込みキャッシュ)の目的に精通しています。以前は、UPSが良好であってもサーバーで使用していました。保護を提供しない明らかな障害があります。それが実際に実際の利益をもたらすかどうかを理解したいのですが。 (注:BBWCを使用しており、クラッシュ/障害が発生した人々からの応答、およびBBWCが回復に役立ったかどうかを特に探しています) 更新 ここでのフィードバックの後、私はBBWCが価値を付加するかどうかについてますます懐疑的になりました。 データの完全性について自信を持たせるために、ファイルシステムは、データが不揮発性ストレージ(必ずしもディスクではない-私が戻ってくるポイント)にコミットされたときを知っている必要があります。データがディスクにコミットされた時期について多くのディスクが存在することに注意してください(http://brad.livejournal.com/2116715.html)。ディスク上のキャッシュを無効にするとディスクがより正直になると想定するのは妥当と思われますが、これが当てはまるという保証もありません。 BBWCのバッファは通常非常に大きいため、バリアはディスクにより多くのデータをコミットする必要があるため、書き込みの遅延が発生します。一般的なアドバイスは、不揮発性ライトバックキャッシュを使用する場合はバリアを無効にすることです(そして、ディスクキャッシュ)。ただし、これは書き込み操作の整合性を損なうように見えます-不揮発性ストレージにより多くのデータが保持されているからといって、それがより一貫性があるということにはなりません。実際、論理的なトランザクション間の境界がなければ、一貫性を確保する機会は他の方法よりも少ないようです。 データが(ディスクにコミットされるのではなく)不揮発性ストレージに入る時点でBBWCがバリアを認識した場合、パフォーマンスを低下させることなくデータ整合性要件を満たしているように見えます-バリアを有効にする必要があることを意味します。ただし、これらのデバイスは通常、物理デバイスへのデータのフラッシュと一貫した動作を示し(バリアを使用すると大幅に遅くなります)、バリアを無効にするための広範なアドバイスを示すため、このように動作することはできません。何故なの? OSのI / Oが一連のストリームとしてモデル化されている場合、書き込みキャッシュがOSによって管理されている場合、書き込みバリアのブロッキング効果を最小限に抑えるスコープがあります-このレベルでは論理トランザクション(単一のストリーム)コミットする必要があります。一方、トランザクションを構成するデータのビットがわからないBBWCでは、キャッシュ全体をディスクにコミットする必要があります。カーネル/ファイルシステムが実際にこれを実際に実装するかどうかは、現時点で投資しようと思っているよりもはるかに多くの努力を必要とします。 コミットされたことと突然の電源喪失をfibsに伝えるディスクの組み合わせは、間違いなく破損につながります。また、ジャーナリングまたはログ構造化ファイルシステムでは、停止後に完全なfsckを実行しないため、破損は言うまでもありませんそれを修復しようとしました。 故障モードに関しては、私の経験では、主電源の喪失(UPSと管理されたシャットダウンで簡単に軽減できる)が原因で、ほとんどの突然の停電が発生します。間違ったケーブルをラックから引き出すと、データセンターの品質が低下します(ラベル付けとケーブル管理)。UPSによって防止されない突然の電力損失イベントにはいくつかのタイプがあります-PSUまたはVRMの障害は、障害のあるBBWCが障害の場合にデータの整合性を提供しますが、そのようなイベントはどれくらい一般的ですか?ここでの回答の不足から判断して非常にまれです。 確かに、スタック内のフォールトトレランスを高くすると、BBWCよりもかなり高価になりますが、サーバーをクラスターとして実装すると、パフォーマンスと可用性に関して他にも多くの利点があります。 突然の電力損失の影響を軽減する別の方法は、SANを実装することです。AoEはこれを実用的な提案にします(iSCSIにはあまり意味がありません)が、やはりコストが高くなります。

7
CentOS 6でDell PERC H710 RAIDコントローラーの背後にあるハードディスクの状態を監視する方法は?
Raid 5セットアップを備えたRaid ControllerカードをCentOS 6使用して実行しているDellサーバーがありPERC H710、Raid Controllerの背後にあるハードディスクの障害/動作ステータスを監視したい。 次に、bashスクリプトを使用して、ハードディスクの状態を監視し、何か問題が発生した場合にアラートメールを送信できるようにします。 CentOS / Red Hat / Linux用のLSI MegaRAID SASコマンドツール(LSI MegaRAID SAS Linuxツールについて)は、PERC H710をsmartctlサポートしておらず、サポートもしていません。 デルのWebサイトに基づいてCentOS、このサーバーはサポートされていません(NX3200 PowerVault)。ハードディスクを監視するためのLinuxプログラムをダウンロードできませんでした。 [root@server ~]# lspci | grep RAID 03:00.0 RAID bus controller: LSI Logic / Symbios Logic MegaRAID SAS 2208 [Thunderbolt] (rev 05) [root@server ~]# smartctl -a /dev/sda smartctl 5.43 2012-06-30 …

12
Linuxでの1,000万個のファイルの保存とバックアップ
サーバーフォールトで回答できるため、 この質問はStack Overflowから移行されました。 8年前に移行され ました。 約1,000万のファイル(表紙)が[0-f]の範囲の3つのレベルのサブディレクトリに保存されているWebサイトを実行しています。 0/0/0/ 0/0/1/ ... f/f/f/ これにより、ディレクトリごとに約2400個のファイルが作成されます。これは、1つのファイルを取得する必要がある場合に非常に高速です。さらにこれは多くの質問によって提案された習慣です。 ただし、これらのファイルをバックアップする必要がある場合、10mのファイルを保持している4kディレクトリを参照するだけで何日もかかります。 だから、これらのファイルをコンテナ(または4kコンテナ)に保存できるかどうか疑問に思っています。それぞれがファイルシステム(ある種のマウントされたext3 / 4コンテナ?)のように動作します。これは、ファイルシステム内のファイルに直接アクセスするのとほぼ同じくらい効率的であり、別のサーバーに非常に効率的にコピーされるという大きな利点があると思います。 これを最善にする方法に関する提案はありますか?または任意の実行可能な代替(noSQL、...)?

2
DockerボリュームコンテナとDockerボリュームを決定する方法は?
ドキュメントを読んだ後、生産的なアプリケーション/サービスデータをどのように管理するのが最適かについて、多少混乱していることに気付きました。 3つのオプションがあるようです: ボリュームをホストディレクトリにマップするだけです(つまりの-v引数docker run) データ用のdockerコンテナーイメージを作成します(つまり、コンテナーとを分離します--volumes-from) Dockerボリュームの作成(つまりdocker volume create) 今、受け入れられている慣行はオプション#2であるようですが、#3の目的は何ですか? 特に、これらのシナリオをどのように正しく処理しdocker volume、各状況にデータボリュームコンテナーまたはこれを使用する方がよいでしょうか? サーバーの別のボリュームやストレージ層にアプリケーションデータが必要です バックアップ データの復元
24 storage  docker 

1
KVMとLibvirt-新しいvirtioディスクをホットプラグする方法
実行中のKVM仮想サーバーにファイルベースのディスクをホット追加しようとしています。コマンドを使用してゼロから新しいディスクを作成しました dd of=/home/cloud/vps_59/test.img bs=1 seek=5G count=0 そして、virshシェルでこれを実行することで、ゲストにホットアドされることを望んでいました。 virsh # attach-disk vps_59 /home/cloud/vps_59/test.img \ vdd --driver=file --subdriver=raw ドメインのXML定義は次のようになります。 <disk type='file' device='disk'> <driver name='qemu' type='raw'/> <source file='/home/cloud/vps_59/root.img'/> <target dev='vda' bus='virtio'/> </disk> <disk type='file' device='disk'> <driver name='file' type='raw'/> <source file='/home/cloud/vps_59/test.img'/> <target dev='vdd' bus='virtio'/> </disk> ご覧のとおり、ドライバー名が間違っているdriver name='qemu'ため、既存のvdaディスクのままにしてください。試しました--drive=qemuが、サポートされていないことを示しています。 第二に、Ubuntu 10.04.4 LTSを実行している仮想マシンを再起動すると、新しく追加されたドライブのみが「表示」されます。ドライブを「ホットプラグ」するにはどうすればよいですか?仮想マシンに、再起動せずにすぐに新しいドライブを「表示」させたい。

1
ZFSサーバーを仮想ゲストとしてホストする
この質問は、サーバー障害で回答できるため、スーパーユーザーから移行されました。 7年前に移行され ました。 私はまだZFSが初めてです。私はNexentaを使用していますが、OpenIndianaまたはSolaris 11 Expressに切り替えることを考えています。現在、ZFSサーバーをESXi、Hyper-V、XenServerのいずれかのゲストとして仮想化することを検討しています(VMDirectPathとFreeBSDのサポートについてはESXiにまだ傾いています)。 主な理由は、1〜3個の他のVMを同時に実行できるようにするために、十分なリソースがあるように見えることです。主にWindows Server。Linux / BSD VMでもあるかもしれません。仮想化されたZFSサーバーが他のVMのすべてのデータをホストし、それらのデータがZFSディスク(iscsiまたはnfsとしてマウント)とは物理的に別のディスクに保持されるようにしたいと思います。 サーバーには現在、合計6コア(2ロック解除)、16 GB RAM(最大)のAMD Phenom IIと、1 TB SATA IIディスク(7)が接続されたLSI SAS 1068E HBAがあります(ホットスペアを備えたRAIDZ2で計画)。また、マザーボードに(4)32GB SATA II SSDを接続しています。2つのSSDをブートミラー(仮想ホスト用)にミラーリングし、他の2つのSSDをZILおよびL2ARC(ZFS VMゲスト用)のままにしておきたいと考えています。VMゲストを格納するためにさらに2つのディスクを追加し、現在の7つのディスクすべてをZFSストレージとして割り当てます。注:マザーボードはないではない 880Gがそれをサポートしていないとして、IOMMUをサポートしているが、私はそれが大きな違いを行う場合IOMMUを持ってい890FXボードを持っています。 私の質問は: 1)これを行うのは賢明ですか?明らかにマイナス面はありません(だから他の誰もそれについて言及していないのではないかと思います)。私は巨大な監視をすることができると感じているので、私はこれにコミットすることを嫌います。 2)ZFS仮想ゲストのパフォーマンス?小さなパフォーマンスヒットを望んでいますが、VMゲストがディスクへのフルディスクアクセスを持っている場合、少なくともディスクI / Oパフォーマンスは無視できると思います(仮想化されていないZFSを実行する場合と比較して) 。VMゲストとしてZFSサーバーをホストしている経験から、これについて話すことができますか?

8
Windows 7 / VistaからFAT32としてフォーマットする方法
Windows 7 / VistaからFAT32(Macとの互換性)でUSBドライブをフォーマットする最良の方法は何ですか? ディスクの管理ではexFATしか選択できないので(ディスクが32 GBを超えていると思うので)お願いします。 diskpartを使用してコマンドラインから実行しても、機能しないようです。

3
状況によっては、「エンタープライズ」ドライブをニア/ミッドラインに安全に交換できますか?
ストレージの専門家ではない多くのエンジニアのようにサーバーを指定するとき、私は通常、少なくとも1万個のSASドライブを標準化することで安全に(そしておそらくマーケティングの奴隷に)します(したがって、 「システム」データ(通常はOS、場合によってはアプリ)用の24時間365日のデューティサイクルなどのエンタープライズ」グレード、およびパフォーマンスがそれほど重要でない非システムデータのストレージ用に7.2kミッド/ニアラインドライブの使用を予約因子。3.5インチ(LFF)ディスクは大容量で低IOPの要件にのみ関連するため、これはすべて2.5インチ(SFF)ディスクを想定しています。 非システムデータが大量に存在しない状況では、通常、システムデータと同じディスク/アレイに配置します。つまり、サーバーには1万個のSASドライブしかありません(通常、「One Big RAID10」タイプ最近のセットアップの)。非システムデータのサイズが大きい場合にのみ、通常、コスト/ GBを抑えるために、7.2kミッド/ニアラインディスクの別のアレイに配置することを検討します。 これは私を不思議に思った:状況によっては、RAID10アレイ内のこれらの10kディスクは、重大な悪影響なしに7.2kディスクに置き換えられましたか?言い換えれば、最低でも10kの「エンタープライズ」グレードのディスクに固執することで、オーバースペック(およびハードウェアベンダーの満足度を維持)している場合がありますか? たとえば、典型的な中小企業(たとえば50人のユーザー)のVMを2つ持つハイパーバイザーとして機能するサーバーを取り上げます。同社には、特別な要件のない平均的なI / Oパターンがあります。典型的な9〜5月、月〜金のオフィスで、夜間に数時間バックアップを実行します。VMはおそらくDCおよびファイル/印刷/アプリサーバーである可能性があります。サーバーには、すべてのデータ(システムデータと非システムデータ)を格納する6つのディスクを備えたRAID10アレイがあります。私の専門家以外の目には、ミッド/ニアラインディスクで問題ないように見えます。例としてHPディスクを取り上げます。 ワークロード:ミッドラインディスクは、40%未満のワークロードと評価されています。オフィスは1日9時間しか営業しておらず、その期間中の平均I / Oが最大に近いことはほとんどないため、ワークロードが40%を超える可能性は低いようです。バックアップのために夜間に集中的なI / Oを数時間行っても、それでも40%未満になると思います 速度:ディスクはわずか7.2kですが、6つのディスクに分散することでパフォーマンスが向上します それで、私の質問:少なくとも1万個のSASドライブを固定するのが賢明なのでしょうか、それとも多くの状況で7.2k個のミッドライン/ニアラインディスクが実際に十分すぎるのでしょうか?もしそうなら、どのように線がどこにあるかを測定し、それを安全にプレイすることで無知の奴隷になることを避けますか? 私の経験は主にHPサーバーに関するものであるため、上記は少しHPに傾いているかもしれませんが、原則はかなりベンダーに依存しないと思います。

4
LSI CacheCade SSDストレージ階層化はどの程度効果的ですか?
LSIはCacheCadeストレージ階層化テクノロジーを提供します。これにより、SSDデバイスを読み取りおよび書き込みキャッシュとして使用して、従来のRAIDアレイを増強できます。 他のベンダーも同様のテクノロジーを採用しています。HP SmartArrayコントローラーにはSmartCacheがあります。AdaptecにはMaxCacheがあります... 多くのソフトウェアベースのアクセラレーションツール(sTec EnhanceIO、Velobit、FusionIO ioTurbine、Intel CAS、Facebook flashcache?)は言うまでもありません。 ZFSのバックグラウンドから来て、さまざまなタイプのSSDを使用して、読み取りキャッシュ(L2ARC)および書き込みキャッシュ(ZIL)の義務を処理します。それぞれのワークロードには異なる特性が必要です。書き込みキャッシュの低遅延と耐久性。読み取り用の大容量。 CacheCade SSDは書き込みおよび読み取りキャッシュに使用できるため、RAIDコントローラーのオンボードNVRAMはどのような目的で使用されますか? 書き込みキャッシュとして使用する場合、書き込み耐久性に関してCacheCade SSDにはどのような危険がありますか?民生用SSDの使用が推奨されるようです。 書き込みはSSDに直接送られますか、それとも最初にコントローラーのキャッシュにヒットしますか? 読み取りキャッシュアルゴリズムはどの程度インテリジェントですか?ZFS ARCとL2ARCの機能を理解しています。CacheCade階層化プロセスに関する洞察はありますか? CacheCadeセットアップの有効性を監視するためのメトリクスは何ですか?キャッシュのヒット率または割合を監視する方法はありますか?それが本当に機能しているかどうかはどうすればわかりますか? LSIソリューションに関する意見やフィードバックに興味があります。警告がありますか?ヒント?

8
RAID-5:2つのディスクが同時に故障しましたか?
5台のSeagate Barracuda 3 TB SATAディスクを含むRAID-5アレイを備えた、CentOSを実行するDell PowerEdge T410サーバーがあります。昨日、システムがクラッシュしました(どのくらい正確かわからないし、ログもありません)。 RAIDコントローラBIOSを起動すると、5つのディスクのうち、ディスク1が「欠落」、ディスク3が「劣化」とラベル付けされていることがわかりました。ディスク3を強制的にバックアップし、ディスク1を(同じサイズの)新しいハードドライブに交換しました。BIOSはこれを検出し、ディスク1の再構築を開始しました-ただし、%1でスタックしました。回転の進行状況インジケーターは一晩中動きませんでした。完全に冷凍。 ここで私のオプションは何ですか?プロのデータ復旧サービスを使用する以外に、再構築を試みる方法はありますか?そのように2つのハードドライブが同時に故障する可能性はありますか 過度に偶然のようです。ディスク1が故障し、その結果ディスク3が「同期がとれなくなった」可能性はありますか?その場合、「同期」に戻すために使用できるユーティリティはありますか?

8
サードパーティのディスクを許可するサーバーベンダー
ここで述べたように、デルはサードパーティ製ディスクを最新のサーバーで使用することを許可しなくなりました。同様に、彼らは期間を動作しません。つまり、これらのボックスのいずれかを購入し、後でストレージをアップグレードしたい場合、Dellからかなりのプレミアムでディスクを購入することになります。 デルは、サーバービジネスを他の場所に持ち込む非常に強力な理由を教えてくれました。私の会社はサーバーを(リースではなく)購入し、通常5年間使用しています。定期的にストレージをアップグレード/再利用できるようにする必要があり、Dellの在庫があるものに拘束されたくはありません。上記のリンクのコメントでわかるように、HPは同じことをしているようです。 同じ日/翌日のオンサイトサービスで3〜5年の保証を提供し、サードパーティのディスクを使用できるサーバーベンダーを探しています。 提案?

2
ストレージシンプロビジョニングを安全に使用するにはどうすればよいですか?
この投稿を改善したいですか?引用や回答が正しい理由の説明など、この質問に対する詳細な回答を提供します。十分な詳細のない回答は、編集または削除できます。 クライアントに提示されるボリュームをシンプロビジョニングできるストレージがあります。これは安全ですか?ベストプラクティスは何ですか?

8
スナップショットとRAIDは、オンサイトの優れたバックアップソリューションとしてカウントされますか?
バックアップを取る理由として考えられる2つの主な理由は、スナップショットとRAIDの両方をbtrfsと共に使用する場合に注意が必要と思われます。(ここでRAIDとは、RAID1または10を意味します) データの偶発的な削除:スナップショットはこのケースをカバーします ドライブの故障とビットの腐敗 完全な障害:RAIDはこのケースをカバーします 不良データを返すドライブ:RAID + btrfsのエラー修正機能がこのケースをカバー オンサイトのバックアップソリューションとしては、これはうまく機能しているようで、別のデータストレージデバイスは必要ありません! ただし、RAIDとスナップショットの両方が適切なバックアップとは見なされないと聞いているので、何か見落としているのではないかと思っています。 btrfsがまだ成熟した技術ではないことを除けば、私が見落としたことはありますか?または、私の考えは正しいですか、これは有効なオンサイトバックアップソリューションですか?

5
非常に高速な起動サーバー
私はDHCP / DNSが仕事で動作する方法を変えています。現在、3台のDNSサーバーと1台のDHCPボックスがあります。それらはすべてVMです。 DNSを必要とするものをブートするにはNFSが必要になるという循環的な依存関係があります。そのため、ものを再起動すると、DNSが起動するまで微妙に壊れて戻ってくることがあり、いくつかのサービスを再起動します。 私がやりたいのは、いくつかの低電力サーバー(おそらくデュアルコアAtomなど)をSSDから実行して、それらが高速で起動するようにすることです。できる限り瞬時に全体をブートするようにします。 理想的には、OSとしてUbuntu 11.10またはDebian 6を使用したいと思います。Gentooや自分のカーネルのコンパイルには興味がありません。これは自分で合理的にサポートできる必要があります。 SSDドライブ以外に、ブート速度を向上させるために他にどのような最適化手順を実行できますか?

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.