Bigtable
構造化データ用の分散ストレージシステム
Bigtableは、構造化データを管理するための分散ストレージシステム（Googleが構築）であり、非常に大きなサイズ（数千の商品サーバーにわたるペタバイトのデータ）まで拡張できるように設計されています。
Googleの多くのプロジェクトでは、データをBigtableに保存しています。これには、ウェブのインデックス作成、Google Earth、Google Financeが含まれます。これらのアプリケーションは、データサイズ（URLからWebページ、衛星画像まで）とレイテンシ要件（バックエンドの一括処理からリアルタイムのデータ提供まで）の両方に関して、Bigtableに非常に異なる要求を課します。
これらのさまざまな要求にもかかわらず、BigtableはこれらすべてのGoogle製品に柔軟で高性能なソリューションを提供することに成功しています。
いくつかの機能
- 高速で非常に大規模なDBMS
- スパースな分散多次元ソートマップ。行指向データベースと列指向データベースの両方の特性を共有します。
- ペタバイトの範囲にスケーリングするように設計されています
- 数百または数千のマシンで動作します
- システムにマシンを追加して、再構成することなく自動的にそれらのリソースの利用を開始するのは簡単です
- 各テーブルには複数のディメンションがあります（そのうちの1つは時間のフィールドであり、バージョン管理が可能です）
- テーブルは、複数のタブレットに分割されることによってGFS（Googleファイルシステム）に最適化されています-テーブルのセグメントは、タブレットのサイズが200メガバイトになるように選択された行に沿って分割されます。
建築
BigTableはリレーショナルデータベースではありません。結合はサポートされず、SQLに似た豊富なクエリもサポートされません。各テーブルは多次元疎マップです。テーブルは行と列で構成され、各セルにはタイムスタンプがあります。異なるタイムスタンプを持つセルの複数のバージョンが存在する可能性があります。タイムスタンプにより、「このWebページの「n」バージョンを選択する」または「特定の日時より古いセルを削除する」などの操作が可能になります。
巨大なテーブルを管理するために、Bigtableは行の境界でテーブルを分割し、タブレットとして保存します。タブレットのサイズは約200 MBで、各マシンで約100タブレット節約できます。この設定により、単一のテーブルのタブレットを多くのサーバーに分散できます。また、きめ細かな負荷分散も可能です。1つのテーブルが多くのクエリを受信している場合、他のタブレットを流したり、ビジーなテーブルをそれほどビジーでない別のマシンに移動したりできます。また、マシンがダウンした場合、タブレットは他の多くのサーバーに分散されるため、特定のマシンのパフォーマンスへの影響は最小限に抑えられます。
テーブルは不変のSSTableとログの末尾（マシンごとに1つのログ）として保存されます。マシンがシステムメモリを使い果たすと、Google独自の圧縮技術（BMDiffおよびZippy）を使用して一部のタブレットを圧縮します。マイナーコンパクションには数個のタブレットしか含まれませんが、メジャーコンパクションにはテーブルシステム全体が含まれ、ハードディスク領域を回復します。
Bigtableタブレットの場所はセルに保存されます。特定のタブレットの検索は、3層システムによって処理されます。クライアントはMETA0テーブルへのポイントを取得しますが、テーブルは1つだけです。META0テーブルは、検索されるタブレットの場所を含む多くのMETA1タブレットを追跡します。META0とMETA1はどちらもプリフェッチとキャッシングを多用して、システムのボトルネックを最小限に抑えます。
実装
BigTableは、ログおよびデータファイルのバッキングストアとして使用されるGoogleファイルシステム（GFS）上に構築されています。GFSは、テーブルデータの永続化に使用されるGoogle独自のファイル形式であるSSTablesに信頼できるストレージを提供します。
BigTableが頻繁に使用するもう1つのサービスは、可用性が高く信頼性の高い分散ロックサービスであるChubbyです。Chubbyを使用すると、クライアントはロックを取得でき、場合によってはメタデータに関連付けて、キープアライブメッセージをChubbyに送信して更新できます。ロックは、ファイルシステムのような階層的な命名構造に保存されます。
Bigtableシステムには、主に3つの主なサーバータイプがあります。
- マスターサーバー：タブレットをタブレットサーバーに割り当て、タブレットの場所を追跡し、必要に応じてタスクを再分配します。
- タブレットサーバー：サイズの制限（通常は100MB〜200MB）を超えた場合、タブレットおよび分割タブレットの読み取り/書き込み要求を処理します。タブレットサーバーに障害が発生すると、100台のタブレットサーバーがそれぞれ1つの新しいタブレットをピックアップし、システムが回復します。
- ロックサーバー：チャビー分散ロックサービスのインスタンス。BigTable内の多くのアクションでは、書き込み用にタブレットを開くこと、一度にアクティブなマスターが1つだけであることを確認すること、アクセス制御チェックなど、ロックの取得が必要です。
Googleのリサーチペーパーの例：
Webページを格納するサンプルテーブルのスライス。行名は
逆URLです。コンテンツ列ファミリーにはページのコンテンツが含まれ、アンカー列ファミリーにはページを参照するアンカーのテキストが含まれ
ます。CNNのホームページはSports IllustratedとMY-lookの両方のホームページで参照されているため、行にはanchor:cnnsi.comおよび
という名前の列が含まれています
anchor:my.look.ca。各アンカーセルには1つのバージョンがあります。内容欄には、持っている3つのバージョンのタイムスタンプで、
t3、t5、とt6。
API
BigTableの一般的な操作は、テーブルと列ファミリーの作成と削除、データの書き込み、行からの列の削除です。BigTableは、APIでアプリケーション開発者にこの関数を提供します。トランザクションは行レベルでサポートされていますが、いくつかの行キーではサポートされていません。
こちらが研究論文のPDFへのリンクです。
そして、ここでは、ワシントン大学での講演で、 Googleのバックエンドで使用されているBigtableコンテンツストレージシステムについて説明している、Googleのジェフディーンを紹介するビデオをご覧いただけます。
