Pinterestのようなサイトでは、これらの写真をすべて保持できますか？

サイトが一般的に膨大な数の写真を保持する方法を知っている人はいますか？私はこれを調査しようとしましたが、トリックがなければ、これらすべてを保持するために巨大なストレージスペースが必要になるようです。彼らはそれらを圧縮すると確信していますが、それでも1つのサイトのために保持する膨大な量のデータです。

それは保存することになると大規模なデータの量を、コンテンツプロバイダはまたとして知られている、ストレージ・エリア・ネットワークを使用してSAN sおよびSANストレージハードウェア。

ウィキペディアから：

ストレージエリアネットワーク（SAN）は、統合されたブロックレベルのデータストレージへのアクセスを提供する専用ネットワークです。SANは主に、ディスクアレイ、テープライブラリ、光学ジ​​ュークボックスなどのストレージデバイスをサーバーからアクセス可能にし、デバイスがオペレーティングシステムにローカル接続されたデバイスのように見えるようにするために使用されます。SANには通常、ストレージデバイスの独自のネットワークがあり、通常、ローカルエリアネットワークを介して他のデバイスからアクセスすることはできません。SANのコストと複雑さは2000年代初頭に低下し、エンタープライズ環境と中小規模のビジネス環境の両方に広く採用できるレベルになりました。

それでは、SANストレージデバイスはどのように見えますか？一部は次のようになります。

。

これらのスロット（赤い四角はドライブ取り出しボタン）のすべてがハードディスクドライブです。写真の1つは比較的小さなSANストレージデバイスですが、他のものは大きく異なって見えることがあり、サイズがはるかに大きくなる可能性があります。

私が働いていた場所には、基本的にハードドライブで満たされた3台の冷蔵庫のサイズの箱であるSANストレージがありました。その後、必要に応じてこれらのドライブを取り上げ、冗長性のためにRAIDアレイを作成しました。より多くのスペースが必要になったため、より多くのSANストレージデバイスを注文し、ストレージエリアネットワークに接続することができました。これにより、ペタバイトの冗長ストレージを確保できました。

Flickr、Picassa、Facebookなどのサイトには、大規模なデータセンターを埋める非常に大きな SANSがあります。

あなたの質問から、コンピュータサイエンスのバックグラウンドを持っていないということを収集しました。

非常に大量のデータ（またはトラフィック）を処理する人気のWebサイトは、新しいものでも非常にユニークなものでもありません。通常、大規模な圧縮に関してはトリックはありません（JPEGとしてアップロードされたほとんどの写真はすでに高度に圧縮されているため、さらに圧縮すると詳細が失われることがよくあります）。うまくいくのは、巧妙なアーキテクチャ、大量のコンピューター、高速で信頼性の高いネットワーク、そしてもちろん数テラバイト（またはペタバイト）のストレージです。実際、ストレージは多くの場合、最も問題が少ないです。ストレージと計算能力は最近非常に安価です。

多くの場合、データは複数のコンピューターに分散（複数のコピー）され、冗長性と高速な検索が行われ、データのシーク/検索は並行して行われます。頻繁に使用されるデータをネットワークまたはユーザーのエッジの近くに保ち、そのようなデータを使用状況に基づいて更新し続けることは、いくつかの手法です。

頻繁に使用され、魔法のように見えるかもしれないオタクのキーワードは次のとおりです。

• マルチレベルキャッシング
• 分散ストレージ
• データウェアハウス
• NoSQL
• Map-Reduce
• データのシャーディング（主にSQLの世界）
• 並列処理
• CDN（コンテンツ配信ネットワーク）

これをより効率的かつ効果的に行う方法は、コンピューターサイエンスとコンピューターアーキテクチャの分野における研究分野であり、研究分野でもあります。データの性質、アクセスの性質/頻度（より多くの書き込み対より多くの読み取り）、必要な信頼性の種類などに基づいて、異なる手法が使用されます。

編集： Googleのサーバーラック（1999年以降）のこの写真は壮大です：！各サーバーの「トレイ」（特に「g61」というラベルが付いているもの）の中央にある露出したハードドライブ（3〜4台）に注意してください。

完全な旅は、この投稿でキャプチャされます：

写真はほぼ確実に、JPEGまたはPNG圧縮ですでに圧縮されており、すでに圧縮されたデータを圧縮することはできないため、写真を圧縮することはできません。（それは少し単純化しすぎていますが、情報理論に深く入り込みたいのでなければ、それを与えられたものとして受け入れてください。）

近道は本当にありません。膨大な量のデータを保持するサイトには、大量のデータを保持するコンピューターがあります。

画像の重さが1 MBであるとします。大きいものも小さいものもたくさんありますが、単純にするために、平均的な画像が1 MBであるとしましょう。最近では手頃な価格の2 TBドライブを見つけるのは難しくありません。つまり、各ドライブは理論的には約200万個のイメージを保持できます。（明らかに、オーバーヘッドのためにいくらかのスペースが失われますが、あなたはそのアイデアを得ます。）

サーバーは、複数のハードドライブでセットアップされたRAID構成を持つことができます。一部のデータは冗長性のために失われますが、それでもコンピューターごとに数TB相当のドライブを持つことができます。また、サーバーファームは、数十、数百、または数千ものサーバーを保持できます。これが、PinterestやFacebookのようなサイトが大量のコンテンツを管理する方法です。

Webブラウザーからの要求をルーティングし、サーバーファーム内の適切な場所でコンテンツを検索してユーザーに提供するコンピューターを前に配置した大規模なサーバーファームを使用する傾向があります。ここで取り上げようとするのは非常に大きなトピックですが、それが基本的な考え方です。