Amazon、Facebook、Googleは1日あたりのPBではないにしてもTBを使用する必要があるため、通常のサーバーを構築するのと同じ方法で新しいハードディスクとケーブルを新しいラックに継続的にインストールするか、別のテクノロジーが使用されているドライブをまとめて接続しますか?
Amazon、Facebook、Googleは1日あたりのPBではないにしてもTBを使用する必要があるため、通常のサーバーを構築するのと同じ方法で新しいハードディスクとケーブルを新しいラックに継続的にインストールするか、別のテクノロジーが使用されているドライブをまとめて接続しますか?
回答:
それらのどれが実際に一度に1台のサーバーにハードウェアをインストールしているかはわかりません。戻る2008の MS密封し、彼らはちょうどに、トラックやプラグ電源/ネットワーク接続からアンロードするために必要なことを、サーバのコンテナの出荷を事前に有線で配信サーバを取得することで、データセンターの構築を開始しました。08ビルドは、最新のデータセンターのコンテナと従来のミックスでしたが、その後、耐候性があり、別の建物内に収容する必要のないカスタムプレハブデザインに移行しました。
HPとIBMはどちらも、展開に電源/データ接続を必要とするだけのサーバーで事前構築されたコンテナを備えた同様のパッケージを販売しています。
Googleには、これらの膨大なデータを保存するために社内で開発したいくつかの技術があります。これらの技術を使用すると、ダウンタイムなしで実際にトラックにハードディスクをクラスターに追加できますが、はい、まだそうする人が必要です。
Googleブログで知っている限り、2つの主要部分はGoogleファイルシステムです。Googleファイルシステムは、非常に大規模に拡張できる分散ファイルシステムです。Googleファイルシステム
そして、Google File Systemの上に、ある種のKey ValueデータベースであるBig Tableがあり、さらに大きなスケールにスケールアップします:Big Table
高可用性を保証するために、すべてが何度も冗長になり、ほとんどの場合は3倍以上になります。
それは正確に正しいです。Facebookのデータセンターでは、平均して1日で、ハードドライブとラックマウントサーバーでいっぱいの3台のトラクタートレーラーを追加していたことを覚えています。もちろん、ストレージをスケーラブルかつ冗長にするための複雑なスキームがあります。たとえば、GoogleにはGFSがあります。Facebookには機器専用のデータセンターが3つあり、それぞれ2つ以上のウォルマートと、既存のセンターの4倍の規模の新しい1つが計画されています。
180 TBのディスクを4ラックユニットに収容できる新世代のオープンコンピューティングストレージソリューションでは、PBは実際にはそれほど大きなスペースではありません。1日1PBを追加しても、1日5台のサーバーをラックすることは大きな問題ではありません。さらに良いことに、これらは約1万ドルで購入できます。つまり、TBあたりの支払い額は60ドル未満です。
確かに、このテクノロジーは私たち全員が同じことをするために利用可能で、価格は銀行に影響を与えません。
しかし、大企業は常により良い取引を獲得し、膨大な量のストレージを調達するために大規模な契約に署名することに留意する必要があります。1年に少量の貨物が配送される場合がありますが、一度に1PBだけを注文するわけではありません。
BackBlazeがこれを行う方法に関する興味深いブログ投稿(GoogleやFacebookほど多くのディスクを必要としない可能性がありますが、それでも全体が必要です)と、タイで洪水が発生したときにハードディスクを作る必要がありました高価で入手が難しい:
http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/