自動ピア検出によるディレクトリ同期

アマゾンクラウドの自動スケーリング機能（ドキュメント）の背後にあるLinuxサーバーのクラスターで作業しています。各サーバーに蓄積されるファイルがあり、それらはアプリケーションのキャッシュファイルです。サーバー間でフォルダーを同期させる自動化された方法を探しています。

• Rsync 誰かがピア検出を行う賢い方法を持っている場合に機能します。
• 同じことが当てはまりますUnison。
• DropboxなどのSaaSの使用も検討しました。
• Glusterはやり過ぎのようで、新しいコンピューターをクラスターに自動参加させるのがどれほど簡単かはわかりません。

理想的には、新しいサーバーが起動すると、サーバーがピアを検出し、フォルダーの同期を開始します。それ以降は、最新のファイルスタンプがP2P同期を獲得します。

これを行うものはありますか？

奇妙に聞こえるかもしれませんが、プライベートec2範囲でDHTを有効にしてrtorrentを使用することはできます

これはあなたに与えるでしょう

• 自動ピア検出
• 検証済みのファイルの状態（ハッシュの場合）
• 最小限の構成要件（起動スクリプトでトレントのマグネット（または最新のトレントの仮想IP）を追加）
• スケーラビリティ

Rsyncアップストリームは、SLP（Service Location Protocol）のサポートを提供します。これは通常のrsyncソースでは有効になっていませんが、rsyncホームページ（slp.diff）のrsync-patches tarballでSLPサポートを見つけることができます。たとえば、SUSE rsyncパッケージはこのパッチでビルドされています。他のディストリビューションについては知りません。

これがあなたが探しているものかどうかはわかりませんが、SLPの経験はありません。

ここに何か足りないかもしれませんが、単純なNFSディレクトリをセットアップせずに、すべてのマシンにマウントするだけの理由があるのでしょうか？アプリが新しいキャッシュファイルを書き込むときは常に、古いキャッシュファイルを上書きするだけです。

コマンドラインツールなどのAmazon管理ツールがあり、ブートスクリプトを記述して、プライベートまたはパブリックIPアドレスを介してノードに互いを検出させることができると確信しています。

ちなみに、rsyncとUnisonは、変更をキャッシュに頻繁に配信する必要がある場合、適切なツールではありません。この場合、実際に分散しているファイルシステムを検討する必要があります。

多分DRBD（分散ブロックデバイス）？