着信ファイルのラウンドロビン

一意のファイル名と新しいファイルの束は、定期的に「見える」^1を 1台のサーバー上で。（毎日数百GBの新しいデータと同様に、ソリューションはテラバイトまで拡張可能である必要があります。各ファイルのサイズは数メガバイトで、最大で数十メガバイトです。）

これらのファイルを処理するマシンがいくつかあります。（数十、ソリューションは数百まで拡張可能でなければなりません。）新しいマシンを簡単に追加および削除できるようにする必要があります。

各着信ファイルをアーカイブストレージにコピーする必要があるバックアップファイルストレージサーバーがあります。データは失われてはならず、すべての受信ファイルは最終的にバックアップストレージサーバーに配信される必要があります。

各受信ファイルは、処理のために単一のマシンに配信さミスト、およびバックアップストレージサーバにコピーされるべきです。

受信サーバーは、途中で送信したファイルを保存する必要はありません。

上記の方法でファイルを配布するための堅牢なソリューションをアドバイスしてください。ソリューションは Javaに基づくものであってはなりません。Unix方式のソリューションが推奨されます。

サーバーはUbuntuベースで、同じデータセンターに配置されています。他のすべてのものは、ソリューション要件に適合させることができます。

¹ ファイルシステムへのファイルの転送方法に関する情報を意図的に省略していることに注意してください。その理由は、今日、ファイルがいくつかの異なるレガシー手段によってサードパーティから送信されているためです（奇妙なことに、scp経由、およびØMQ経由）。ファイルシステムレベルでクラスター間インターフェイスを切断する方が簡単に思えますが、実際に特定のトランスポートが必要なソリューションがある場合は、レガシートランスポートをそのトランスポートにアップグレードできます。

ここにあなたが探しているものに対する一つの解決策があります。このシステムの作成にはJavaは関係なく、ただすぐに利用できるオープンソースのビットだけです。ここで紹介するモデルは、例として使用しているテクノロジー以外のテクノロジーでも機能します。

1. ファイルは、特定のラウンドロビンDNSアドレスにHTTP POSTされます。
2. 次に、ファイルをPOSTするシステムは、ロードバランサーの別のペアを経由して、ジョブをAMQPシステム（ここではRabbit MQ）にドロップして、処理ワークフローを開始します。
3. HTTP POSTを受信するロードバランサーは、それぞれOpenStack Swiftオブジェクトストアサーバーのグループの前にあります。
   • ロードバランサーはそれぞれ、背後に2つ以上のOpenStack Swiftオブジェクトストアサーバーを備えています。
   • 「Round Robin is not HA」は、ターゲットがHA自体の場合に発生します。YMMV。
   • 耐久性を高めるために、RRDNSのIPは個別のホットスタンバイLBクラスターにすることができます。
4. 実際にPOSTを取得するObject Storeサーバーは、ファイルをGlusterベースのファイルシステムに配信します。
   • Glusterシステムは分散（別名シャード）と複製の両方である必要があります。これにより、愚かな密度にスケーリングできます。
5. AMQPシステムは、使用可能な処理ノードに最初のジョブをディスパッチして、バックアップを作成します。
6. 処理ノードは、ファイルを主ストレージからバックアップストレージにコピーし、必要に応じて成功/失敗を報告します。
   • 失敗モードの処理はここでは図示されていません。基本的に、機能するまで試してください。そして、それが機能しない場合は、例外プロセスを実行します。
7. バックアップが完了すると、AMQPは処理ジョブを使用可能な処理ノードにディスパッチします。
8. 処理ノードは、ファイルをローカルファイルシステムにプルするか、Glusterから直接処理します。
9. 処理ノードは処理製品をどこにでも預け、AMQPに成功を報告します。

この設定では、十分なサーバーがあれば、非常に高速でファイルを取り込むことができます。10GbEの総取り込み速度の取得は、十分にアップサイズすれば実行できるはずです。もちろん、それほど多くのデータを高速で処理するには、Processingマシンクラスにさらに多くのサーバーが必要になります。このセットアップは、1,000ノードまで、そしておそらくはそれ以上にスケールアップする必要があります（どれだけ遠いかは、これのすべてで何をしているかによって異なります）。

深いエンジニアリングの課題は、AMQPプロセスの中に隠されたワークフロー管理プロセスにあります。それはすべてのソフトウェアであり、おそらくシステムの要求に合わせてカスタムビルドされます。しかし、それはデータでうまく供給されるべきです！

ファイルがscp経由で到着することを明確にしたので、トランスポートメカニズムはレイヤー3でリダイレクトできるため、フロントエンドサーバーが存在する理由はまったくわかりません。

LVSディレクター（ペア）を前に置き、処理サーバープールを後ろに置き、ラウンドロビンリダイレクトポリシーを設定します。これにより、プールへのサーバーの追加とプールからのサーバーの削除が非常に簡単になり、フォールバックするフロントエンドサーバーがないため信頼性が向上し、ファイルの取得に関するプル/プッシュの質問に対処する必要がないことを意味しますフロントエンドがないため、処理サーバーへのフロントエンド。

各プールサーバーは、ファイルを受信するときに2つの処理を実行する必要があります。まず、ファイルをアーカイブストレージにコピーし、次にファイルを処理して送信します。