タグ付けされた質問 「storage」

ここに示すように、Nexentaの推奨アーキテクチャに基づいて、高可用性クラスタ共有ストレージにデュアルヘッドZFS-backed NASを使用しています。 1 JBODのディスクは単一の4 TB Postgresデータベースのデータベースファイルを保存し、他のJBODのディスクは20 TBの大きな未加工バイナリフラットファイル（大きな恒星オブジェクトの衝突シミュレーションのクラスター結果）を保存します。つまり、PostgresファイルをバッキングするJBODは主にランダムなワークロードを処理し、シミュレーション結果をバッキングするJBODは主にシリアルワークロードを処理します。どちらのヘッドノードにも256 GBのメモリと16コアがあります。クラスターには約200のコアがあり、それぞれがPostgresセッションを維持しているため、約200の同時セッションが予想されます。 ZFSヘッドノードをクラスターのミラーリングされたPostgresデータベースサーバーのペアとして同時に機能させることが、セットアップで賢明かどうか知りたいのですが。私が見ることができる唯一の欠点は次のとおりです。 インフラストラクチャのスケーリングの柔軟性が低下します。 冗長性のレベルがわずかに低くなります。 PostgresのメモリとCPUリソースが制限されています。 ただし、私が理解している利点は、ZFSは自動フェールオーバーにかなりとんでもないことであり、ヘッドと一緒に失敗するため、ヘッドノードが失敗したかどうかを各Postgresデータベースサーバーに理解させるために多くの作業を費やす必要はありません。ノード。

9 storage  postgresql  zfs  high-availability  zfsonlinux 

中小企業のファイルのためのより良いストレージとアーカイブシステムが必要です。具体的には、ファイルは完成したビデオプロジェクトです。時間とコストの制限を超えて、私を阻んでいるのは、私が考えたどのソリューションも信じていません。したがって、私は問題と私の考えを説明しています。ご意見をいただければ幸いです。 予算： 私はそれが必要とするものを使うと信じています。そうは言っても、私たちは中小企業です。私はこれから5k未満、さらには1〜3k程度で脱出できることを望んでいます。それはパイプの夢かもしれません。教えてください。 問題： 生のビデオファイルはファイルサイズが巨大です。これまでに10 TB以上を蓄積しており、それは急速に成長しています。 ビデオ編集にはファイルへの高速な読み取り/書き込みアクセスが必要なため、中央またはクラウドベースのファイルサーバーは十分に高速ではありません。したがって、おそらく古いプロジェクトのための達成ソリューションが必要であり、現在のプロジェクトはローカルに留まる必要があります。 ある種の冗長性とオフサイトのソリューションが必要です。 現在行っていること： 大型で高品質の外付けハードドライブを使用しています。 私たちは常にペアで購入し、手動でコンテンツを複製します。言い換えれば、私たちは一方から作業し、バックアップ/フォールバックとして機能するもう一方にファイルを複製します。 これらのHDは、firewire800またはUSB3で直接動作するのに十分な速度です。 記入したら、ペアを脇に置いておきます。 現在のソリューションの何が問題になっていますか： データは2つのドライブ間で複製されますが、これらのドライブは「バックアップ」されず、オフサイトに保存されません。 これらの多くの外部HD全体の編成は困難です。どのドライブにどのプロジェクトがありますか？等 結局、私たちはとんでもない量のハードドライブを持つことになります。 複製はRAIDではありません。 オプション： ローカルサーバー ラックマウントサーバーと、Norco（SAS）（20ベイ）などのラックマウントハードドライブアレイエンクロージャーを購入します。 すべてのビデオファイルはこのサーバーに保存されます。この1台のコンピューター/サーバーをバックアップするために、クラウドサービスをインストールして支払うことができます。CrashPlanはLinuxで動作し、データ量に制限はありません。ハードドライブはサーバーに接続された物理ドライブであり、CrashPlanのような企業が持っている「NASなし」ルールを回避します。これはパソコンではないため、同期は年中無休で実行できます。これはオフサイトの問題を解決します。 CrashPlanのようなオンラインバックアップサービスを使用する代わりに、これらのファイルをAmazon Glacierアカウントに同期するスクリプトを作成できます。 現在のプロジェクトでは外付けハードドライブからビデオを覗き見するが、完了時にプロジェクトをこの新しいコンピューターに配置する必要があるというポリシー。つまり、現在のプロジェクトに引き続き外部ハードドライブを使用し、アーカイブされたプロジェクトをこのサーバーに保存します。 クラウドベースのバックアップサービス（CrashPlan.com、BackBlaze.com、Carbonite.com） 通常は、コンピュータに物理的に接続されている外付けハードドライブのみをバックアップできます。（NASまたはネットワークドライブなし）。 通常、彼らはバックアップされた外付けドライブがコンピュータに接続されたままであり、すべてのデータがドライブ上に残ることを期待しています。何ヶ月も外付けハードドライブを接続しないと、バックアップはどうなりますか？古いプロジェクトを削除してスペースをクリーンアップすると、それらもオンラインサービスから削除されます。 すべてのデータがクラウドに保存されるまで、ユーザーは外付けハードドライブをコンピューターに接続したままにする必要があります。大きなプロジェクトの場合、これには数週間かかることがあります。 インターネットの転送速度が原因で、プロジェクトの復元は非常に遅くなります。 これらのクラウドバックアップアカウントは、通常、1人のユーザー/ 1台のコンピューターに固有です。したがって、ハードドライブが1人のユーザーによってバックアップされている場合。次に、2人目のユーザーがプロジェクトで作業しますが、それはどういう意味ですか？ 大きなNAS NASは「ネットワークエリアストレージ」です。あなたはそれが保持するのと同じくらい多くのハードドライブを挿入します。彼らを襲撃します。これには、ネットワーク接続またはUSB3 / Firewireを介してアクセスできます。 ほとんどのオペレーティングシステムが組み込まれています。したがって、クラウドベースのバックアップサービスのような他のソフトウェアを実行することはできません。また、カスタマイズしたり、独自のソフトウェアを実行したりすることもできません。あなたはあなたが買うものを手に入れます。 大きなNASはかなり高価で、それほど大きくはありません。ベイが4つを超えるものは多くありません。現在、大きなHDは3TBです。したがって、4ベイは12 TB未満のストレージのどこかにある可能性があります。将来のために超快適ではありません。 その他のアイデアは次のとおりです。 テープバックアップ。 古いプロジェクトを直接Amazon Glacierにアーカイブし、ローカルサーバーの構築をスキップして保存します。 アドバイスありがとうございます!!! ジェド

9 backup  storage  archive  hardware  amazon-glacier 

私は小さな会社のITすべてです。会社全体のバックアップポリシーを使用して、新しいサーバーと別のバックアップサーバーを含む新しいインフラストラクチャを設計したいと考えています。 会社で最も重要なことは、SQL Serverとそのデータベースです。データベースは10個ありますが、本当に重要なのは2つだけです。最初の1つは8 GBで、主にテキストデータと数値です。2つ目は約300 GBで、16 GB /月でPDFとGIFが含まれます。 ストレージを保存するには、現在のバックアップポリシーは1週間に1回の完全バックアップと6つの差分で構成されます。週あたり約350 GB、月あたり1.4 TBだと思います。 サイレントデータ破損に関する記事を読んだ後、Nexenta CommunityエディションでZFSを試すことにしました。 私の質問：重複排除を備えたZFSは、信頼性の観点からバックアップファイルを保存するのに適していますか、それともテープバックアップなどを検討する必要がありますか？ 編集：今のところ、パフォーマンス、重複排除率などを予測できないことはわかっていますが、それが良いアイデアかどうかを知りたいのです。

9 backup  storage  zfs  nexenta  deduplication 

私は典型的には、薄いプロビジョニング仮想マシンを構築する際にストレージ容量の使用：それは多くの柔軟性を提供し、思わ速くビルドにします。 私が見ることができる唯一の潜在的な明確な利点は、VMが基盤となるストレージインフラストラクチャの利用可能なスペースを誤って使い果たすことがないことを確認することです-他にありますか？

9 virtualization  storage  provisioning  thin-provisioning  thick-provisioning 

NetGearのReadyNAS 2100には4つのディスクスロットがあり、ディスクなしで$ 2000です。たった4つのディスクスロットでは、これは少し高すぎるようです。 デルには優れたネットワークストレージソリューションもあります。PowerVault NX3000には6つのディスクスロットがあるため、それが改善されています。ただし、費用は$ 3500です。NX3100はディスクの数を2倍の価格で倍にします。大量のストレージに対して間違ったハードウェアを検討している場合に備えて、信頼できるPowerVault MD3000i SANには15台のドライブが搭載されていますが、7000ドルからです。 デル、ネットギア、HP、またはその他の企業のサポートが真剣であると主張することはできますが、それらのドライブをRAIDボックスにまとめてiSCSI経由で提供するのは、まだかなり高額です。はるかに安価なオプションがあります。自分で構築してください。Backblazeは独自のボックスを構築し、ドライブ自体を含めて、45ドル（45）のSATAドライブを8000ドル弱で収容しています。これは、Dell、Sun、HPなどからの現在のオファーよりも少なくとも10倍安価です。 なぜNAS（またはSAN-ネットワークに接続されたストレージ）がそれほど高価なのですか？結局のところ、それの主な機能は、多数のHDDを収容し、RAIDアレイを作成して、iSCSIのようなプロトコルを介してそれらを提供することです。それ以外のほとんどすべては、単に色付きのバブルです（別名マーケティング用語）。

9 storage  storage-area-network  network-attached-storage  network-storage 

閉まっている。この質問はトピックから外れています。現在、回答を受け付けていません。 この質問を改善してみませんか？ サーバー障害のトピックになるように質問を更新します。 昨年休業。 ハイパーコンバージドシステムの開発により、分散ストレージを処理するためのRAID以外のテクノロジー（たとえば、ceph、VSAN、nutanixのような分散ストレージ）を見ることができます。 しかし、大きなディスクがたくさんある単一のサーバーで使用できるオブジェクトストレージから派生したオープンソーステクノロジーはありますか？たとえば、12To sataディスクの数十は、データの安全性を保証しますが、ディスク。したがって、ダイナミックディスクプールは、クラスター化されていないRAIDの一種であり、iscsiのようなブロックレベル、またはzfsやbrtrfsのようなファイルシステムレベルで使用できます。 SYNOLOGYベイ（NFS、iscsiターゲット、SMB）に似た機能を提供したいのですが、ブロックストレージ用のRAIDはありません。 ご指摘ありがとうございます。

9 raid  hard-drive  storage 

さて、まず第一に、私は運用担当者ではなく開発者であると言っておきます。なので、ここで少し未知の土地に行きますので、ご容赦ください。 Azure仮想マシンを使用して、1.9 GBのzipファイルから50 GBのXMLファイルを抽出したいと思います。したがって、私はAzureでどのインスタンスサイズを使用して、必要以上のコストをかけずに優れたパフォーマンスを実現するかをテストしてきました。 ただし、Azure VMのディスクパフォ​​ーマンスは驚くべきものではありません。何か問題を起こしているのが私なのか、それとも期待どおりの結果が得られるのかを知りたいのですが。 まず第一に、私は何をテストしてきましたか？カスタムの.NETコンソールアプリケーションがあり、それはzipファイルを引数として取り、すぐにzipファイルが存在する同じディレクトリにzipファイルの抽出を開始します。抽出の進行中に、アプリケーションはメガバイト数を計算しますアプリケーションは1秒あたりのターゲットファイルに書き込み、それを出力します。 私のローカル開発マシンでは、このアプリケーション（160〜210 MB /秒の書き込み）でかなり良いパフォーマンスを得ています。したがって、抽出プロセス全体には約8分かかります。私のローカルマシンの仕様は、Intel Core i7 950、3 GHz、4コア（8論理）、12 GB RAM、Samsung SSD 830シリーズ250 GBです。 さて、私はさまざまなインスタンスサイズのテストを始めました、そしてここに私の結果があります。 Windows Server 2012 Datacenter R2（8コア、14 GB RAM）を備えたA4インスタンスで、同じストレージアカウントを使用する4つの仮想ディスクのストライプRAIDを使用し、ホストキャッシュを使用しない場合、30〜35 MB /秒で安定しました。抽出には24分48秒かかりました。ホストキャッシングを有効にすることも試みましたが、実際には違いはありませんでした。 Windows Server 2012 Datacenter（8コア、28 GB RAM、500 GBローカルSSDディスク）を備えたD4インスタンスで、最初の数分間は本当に良いパフォーマンス（150+ MB /秒）を達成し、ピーク時は200 MB /でパフォーマンスを変化させました9 MB /秒の谷と谷。平均パフォーマンスは70〜100 MB / sでした。抽出には9分40秒かかりました。 Windows Server 2012 Datacenter（4コア、14 GB …

9 performance  storage  windows  azure 

IQNのフォーマット方法に関する多くの情報を見てきましたが、それらを構築する方法に関する多くの情報はありません。iSCSIに関しては初心者ですが、問題なく機能していますが、これを作成するだけなのか、または何らかの標準に従う必要があるのか​​と考えています。 例として、これは（wikipedia http://en.wikipedia.org/wiki/ISCSI#Addressing）がIQNをフォーマットする必要があると言っている方法です。 Naming String defined by Type Date Auth "example.com" naming authority +--++-----+ +---------+ +-----------------------------+ | || | | | | | iqn.1992-01.com.example:storage:diskarrays-sn-a8675309 iqn.1992-01.com.example iqn.1992-01.com.example:storage.tape1.sys1.xyz iqn.1992-01.com.example:storage.disk2.sys1.xyz[10] 私の質問は特に、なぜ日付ですか？それは何でもいいのですが、何か意味があるのでしょうか？ここに何か強制はありますか？「間違った」日付を入力すると私に噛み付くような点に遭遇することはありますか？ ドメインの例は（dnsのように）逆になっていますか？starkindustries.priのようなドメイン名を持っている場合、私のiqnは次のようになります。 iqn.2006-05.pri.starkindustries:Linux:array0 これはDNSに依存しますか？（経験はそうではないと私に言っていますが、それは微妙な方法で失敗している可能性があります）そしてそれがDNSに依存している場合、ホスト名を使用するのですか、それともドメイン名だけですか？つまり、Jarvis.starkindustries.priまたは単にstarkindustries.pri？ また、IPアドレスを使用している場合（DNSを使用していない場合はDNSがなくても機能するため、混乱を招く可能性があります）、DNSのように逆にしますか？つまり、10.1.2.0 iqn.2006-05.0.2.1.10:Linux:array0 また、（iSCSIターゲットの）ホストアドレスまたはネットワークアドレスを使用していますか。 「「example.com」の命名機関によって定義された文字列」の適用はありますか。つまり、何か便利なものを使用できない理由がありますか？わかりやすい名前の方がわかりやすいと思いますが、技術的な理由はありますか？また、私は自分が「ネーミング・オーソリティ」であるという大きな信念を持っています。 何よりも、私はこれらのIQNのためにたくさんのものを作り上げており、それらは機能しているようです。IQNSの実際の生成に関しては、少なくともいくつかのベストプラクティスを見つける場所を知りたいだけです。いつか私がストレージを担当する唯一の人ではなくなることを考えているだけなので、いくつかの標準を渡す必要があります。 IQNの新しいブロックが必要です。

9 storage  storage-area-network  iscsi 

閉まっている。この質問はトピックから外れています。現在、回答を受け付けていません。 この質問を改善してみませんか？ サーバー障害のトピックになるように質問を更新します。 6年前休業。 外付けの2ベイドライブエンクロージャ（OWC Mercury Elite-AL Pro）をFireWire 800を介してMac Mini（私のホームメディアサーバー）に接続しています。有線ギガビットを介して家の中の他のコンピューターにメディアをストリーミングしています。現在、独立して使用している2つの1.5 TBドライブがあります。メディアは1つにあり、夜間はバックアップとしてファイルを別のドライブにミラーリングしています。しかし、ドライブをいっぱいに近づけるにつれ、これらの2つのドライブをスパンして合計約3 TBにし、バックアップ用に別のドライブを購入したいと考えています。外部エンクロージャーはRAID 0とJBODの両方をサポートしますが、この状況でどちらがより良いかは分かりません。 RAID 0は、ストリーミングビデオ（おそらく一度に複数のストリーム）のJBODに比べてパフォーマンスが向上しますか？ それぞれがドライブのMTBFにどのように影響しますか？ 一般に、RAID 0またはJBODを選択する必要がありますか、それともそれらを独立しておく必要がありますか？

9 raid  storage  streaming  media 

私は、いくつかのレガシーアプリケーションのためにいくつかの古いハードウェアを維持する必要があることに気づきました。これらのコンピューターは古いパラレルSCSIドライブを使用しており、それらのドライブが停止すると、新しいドライブを取り除かなければならず、ますます困難になっています。 物理SCSIインターフェイスを備えた最新のコンピューターを実行し、それ自体をレガシコンピューターのターゲットディスクとして提示することは可能ですか？物理SCSIディスクにアクセスする代わりに、SAN内の最新のディスクにアクセスしていますか？ 私はhttp://www.linux-iscsi.org/を見て、通常の操作モードは、リモートiSCSIからの物理ターゲットではなく、物理ディスクからのiSCSIターゲットのように機能しているように見えます目標。しかし、それがサポートされているか、可能であるか、完全に問題外であるかを判断するための用語やテクノロジーについては、十分に詳しくありません。

8 storage  iscsi  scsi  legacy 

私にはオリジナルのML370があり、以前は世代（2000）もありました。ストレージシステムは、Smartアレイ431コントローラー、2 9.1 Gb Ultra3 SCSI（COMPAQ BD009635C3）、および4 146.8 Gb Ultra3 SCSI（COMPAQ BD14687B52）で構成されています。 2つの9ギグは、OSドライブである1つのRAID 1 + 0論理を形成するアレイAを形成します。4つの146.8ギグはアレイBを形成し、アレイBは約12のRAID 5論理に分割されます。残念ながら、これらの論理の一部は、システムディレクトリに「ジャンクション」を介してマウントされています。"inetpub"、 "Program Files"、 "Database"（SQL Server）、および "Message Store"（Exchange）...これがLinuxであり、それが完全に理にかなっていると想像してください。 また、ネットワークアダプターはLinksys EG1032です。 この時点ですべて（ほとんど）がこのサーバーから移行されていますが、現在のオペレーティングシステムのバスアーキテクチャとドライバーサポートのために移行できないレガシーアプリケーションがまだ1つあります。今回。したがって、このボックスをもう少し長く実行する必要があります。 ストレージの問題を入力してください。9ギガドライブと146ギガドライブのそれぞれに1つずつ障害が発生しているため、ストレージシステム全体が劣化し、できるだけ早く対処する必要があります。ですから、実際の問題は、私の選択肢は何ですか？..とBTWは、このことに別のお金を費やさないことを意図しています。 このサーバーはWindows 2003を実行しています。非常に時間が経過したため、最初からすべてを再インストールできない場合があるのではないかと心配しています。私はiSCSI SANを自由に利用でき、残りの3つの146ギガドライブには、2つをミラーとして実行し、3つ目をスペア用に維持するのに十分なスペースがあります。課題は、既存のストレージを再編成しながらサーバーを稼働させたままにする方法です。431はあまりスマートではありません。 ですから、この時代のサーバーにネットワークブートを実行させることはできますか？しかし、私の最初の方法は、既存のアレイを切り離して再構成できるように、あるタイプの代替論理ディスクから実行することでした。しかし、私は別の提案を受け入れるつもりです。私は最新のサーバーで何ができるか知っていますが、私が知っているその時代の何かははるかに制限されており、オプションがわかりません。 TIA

8 windows-server-2003  storage  hp  hp-proliant  hp-smart-array 

一般的な経験則では、容量の80〜85％を超えて使用しないでください。使用すると、パフォーマンスが大幅に低下し、その他の問題が発生する可能性があります。 8TBのアレイでは、これは約1.6TBの空き容量になるはずです！40TBのアレイには約8TBの空き容量が必要です！ これは、より大きな配列での慣習ですか？テーブルに残しているディスク領域が多すぎますか？

8 storage  storage-area-network  zfs  network-attached-storage  freenas 

私は困惑しており、誰かがこの問題の症状を認識してくれることを願っています。 ハードウェア：新しいDell T110 II、デュアルコアPentium G850 2.9 GHz、オンボードSATAコントローラー、ボックス内に新しい500 GB 7200 RPMケーブル接続ハードドライブ、他のドライブは内部にありますがまだマウントされていません。RAIDなし。ソフトウェア：VMware ESXi 5.5.0（ビルド1746018）の下の新しいCentOS 6.5仮想マシン+ vSphere Client。2.5 GBのRAMが割り当てられています。ディスクは、CentOSがそれを設定するために提供した方法、つまり、LVMボリュームグループ内のボリュームとして提供されたものです。ただし、個別の/ homeを省略し、単に/と/ bootを指定しました。CentOSにパッチが適用され、ESXiにパッチが適用され、最新のVMwareツールがVMにインストールされます。システムにユーザーがいない、サービスが実行されていない、ディスクにファイルがない、OSのインストールのみ。vSphere ClientのVM仮想コンソールを介してVMと対話しています。 先に進む前に、多かれ少なかれ合理的に設定したことを確認したいと思いました。VMのシェルでrootとして次のコマンドを実行しました。 for i in 1 2 3 4 5 6 7 8 9 10; do dd if=/dev/zero of=/test.img bs=8k count=256k conv=fdatasync done つまり、ddコマンドを10回繰り返すだけで、毎回転送速度が出力されます。結果は気がかりです。それはうまく始まります： 262144+0 records in 262144+0 records out 2147483648 bytes …

8 performance  vmware-esxi  storage  centos6  vmware-vsphere 

サーバー2012R2のストレージスペースを使用してNASを構築することを検討しています。キャッシュ用のSSDを使用して、「RAID10」のようなセットアップ（ストレージスペースではRAID10は実行されないことはわかっていますが、これと似たもの）で、かなり大きなユニット、12〜14 HDDを構築しようとしています。 そして、将来的には、別の外部JBODエンクロージャーをこれにフックして、「RAID5-6」のような設定をする予定です。 解凍または重複除外を行う予定はありません。 私の質問は、これにはどのようなハードウェアが必要ですか？小さなXeonまたはOpteronで処理できますか？または、より大きな2.4GHZ + Xeon 4コアHT、または12コアOpteronを撮影する必要がありますか、それともデュアルCPUを使用する必要がありますか？また、システムが最適なパフォーマンスを発揮するには、どのくらいのメモリが必要でしょうか。記憶域スペースのセットアップに関するマイクロソフトのハードウェアガイドラインを探していましたが、何も見つからなかったので、誰かが知っている場合は、正しい方向を教えてください。 これらのユニットをFreeNASまたは別のLinuxベースの代替品でセットアップすることを検討していましたが、私の部門のIT専門家のほとんどはLinuxの経験がほとんどまたはまったくありません。可能。同じトークンで、FreeNASまたは他のLinux NASの代替であるVSのパフォーマンス比較を知っている人はいますか。Windows Server 2012R2ストレージスペース？

8 storage  hardware  freenas  windows-server-2012-r2  storage-spaces 

一意のファイル名と新しいファイルの束は、定期的に「見える」1を 1台のサーバー上で。（毎日数百GBの新しいデータと同様に、ソリューションはテラバイトまで拡張可能である必要があります。各ファイルのサイズは数メガバイトで、最大で数十メガバイトです。） これらのファイルを処理するマシンがいくつかあります。（数十、ソリューションは数百まで拡張可能でなければなりません。）新しいマシンを簡単に追加および削除できるようにする必要があります。 各着信ファイルをアーカイブストレージにコピーする必要があるバックアップファイルストレージサーバーがあります。データは失われてはならず、すべての受信ファイルは最終的にバックアップストレージサーバーに配信される必要があります。 各受信ファイルは、処理のために単一のマシンに配信さミスト、およびバックアップストレージサーバにコピーされるべきです。 受信サーバーは、途中で送信したファイルを保存する必要はありません。 上記の方法でファイルを配布するための堅牢なソリューションをアドバイスしてください。ソリューションは Javaに基づくものであってはなりません。Unix方式のソリューションが推奨されます。 サーバーはUbuntuベースで、同じデータセンターに配置されています。他のすべてのものは、ソリューション要件に適合させることができます。 1 ファイルシステムへのファイルの転送方法に関する情報を意図的に省略していることに注意してください。その理由は、今日、ファイルがいくつかの異なるレガシー手段によってサードパーティから送信されているためです（奇妙なことに、scp経由、およびØMQ経由）。ファイルシステムレベルでクラスター間インターフェイスを切断する方が簡単に思えますが、実際に特定のトランスポートが必要なソリューションがある場合は、レガシートランスポートをそのトランスポートにアップグレードできます。

8 storage  cluster