取り込みレートが大きいサービスは、十分な速度で十分な速度でハードディスクをインストールしますか?


13

Amazon、Facebook、Googleは1日あたりのPBではないにしてもTBを使用する必要があるため、通常のサーバーを構築するのと同じ方法で新しいハードディスクとケーブルを新しいラックに継続的にインストールするか、別のテクノロジーが使用されているドライブをまとめて接続しますか?



考えるべきもう1つの側面は、そのように多くのストレージを備えたドライブの故障率と、それらがどのように追いつくかです。一部の人々は、Googleが毎分どこかに新しいドライブの障害を起こす可能性があると推定しています。
マット

回答:


16

それらのどれが実際に一度に1台のサーバーにハードウェアをインストールしているかはわかりません。戻る2008の MS密封し、彼らはちょうどに、トラックやプラグ電源/ネットワーク接続からアンロードするために必要なことを、サーバのコンテナの出荷を事前に有線で配信サーバを取得することで、データセンターの構築を開始しました。08ビルドは、最新のデータセンターのコンテナと従来のミックスでしたが、その後、耐候性があり、別の建物内に収容する必要のないカスタムプレハブデザインに移行しました。

HPとIBMはどちらも、展開に電源/データ接続を必要とするだけのサーバーで事前構築されたコンテナを備えた同様のパッケージを販売しています。

気象にさらされるプレハブモジュールを備えたマイクロソフトのボイデンバージニアデータセンター。


これは、私にとって、最初の質問に本当に対処する唯一の答えです。+1
mveroone

1
ところで、ここにその写真のソースがあります。これは、バージニア州のMicrosoft Azureデータセンターです。
テダー42

誰かが配送コンテナサーバーを一度に構築/接続/テストする必要があり、google / facebookは社内でハードウェアを実行する傾向があります。
マット

通常のラックは、私たちの残りの部分で使用されるサーバ/ブレードがで組み立てられて取り付けられているのと同じ安価な中国労働力を使用して、同じ工場で行うの@mindthemonkey。
ダンは火明かりでいじるで


7

Googleには、これらの膨大なデータを保存するために社内で開発したいくつかの技術があります。これらの技術を使用すると、ダウンタイムなしで実際にトラックにハードディスクをクラスターに追加できますが、はい、まだそうする人が必要です。

Googleブログで知っている限り、2つの主要部分はGoogleファイルシステムです。Googleファイルシステムは、非常に大規模に拡張できる分散ファイルシステムです。Googleファイルシステム

そして、Google File Systemの上に、ある種のKey ValueデータベースであるBig Tableがあり、さらに大きなスケールにスケールアップします:Big Table

高可用性を保証するために、すべてが何度も冗長になり、ほとんどの場合は3倍以上になります。


1
質問はよりハードウェア指向であり、あなたの答えは少しトピックから外れていると思いますが、これは知っておくと良い情報です。
mveroone

5

それは正確に正しいです。Facebookのデータセンターでは、平均して1日で、ハードドライブとラックマウントサーバーでいっぱいの3台のトラクタートレーラーを追加していたことを覚えています。もちろん、ストレージをスケーラブルかつ冗長にするための複雑なスキームがあります。たとえば、GoogleにはGFSがあります。Facebookには機器専用のデータセンターが3つあり、それぞれ2つ以上のウォルマートと、既存のセンターの4倍の規模の新しい1つが計画されています。


2

180 TBのディスクを4ラックユニットに収容できる新世代のオープンコンピューティングストレージソリューションでは、PBは実際にはそれほど大きなスペースではありません。1日1PBを追加しても、1日5台のサーバーをラックすることは大きな問題ではありません。さらに良いことに、これらは約1万ドルで購入できます。つまり、TBあたりの支払い額は60ドル未満です。

確かに、このテクノロジーは私たち全員が同じことをするために利用可能で、価格は銀行に影響を与えません。

しかし、大企業は常により良い取引を獲得し、膨大な量のストレージを調達するために大規模な契約に署名することに留意する必要があります。1年に少量の貨物が配送される場合がありますが、一度に1PBだけを注文するわけではありません。


1
オープンしているボルト仕様はオンラインです。4TBドライブでは、2Uで最大120TBです。
マット

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.