大きなファイルを500台以上のコンピューターにプッシュする


24

私はチームと協力して、年次会議のために500〜600台のレンタルWindows 7コンピューターを管理しています。これらのコンピューターに同期する必要がある大量のデータがあり、最大1 TiBです。コンピューターは部屋に分割され、管理されていないギガビットスイッチを介して接続されます。これらのコンピューターは、Windowsのインストールと構成、およびレンタル会社による複製のためにベースイメージを送信する前に使用可能なファイルを事前に準備します。毎年、プレゼンターは、プレゼンテーションを行う部屋にプッシュする必要があるデータのギグまでサイト上でアプローチします。スライドPDFなどの小さなサイズのファイルがいくつかある場合もありますが、 5 GiBを超える場合もあります。

これらのファイルをプッシュするための現在の戦略は、バッチスクリプトとRoboCopyを使用することです。大規模なプッシュの場合、実際にはBitTorrentクライアントを使用してトレントファイルを生成し、バッチRoboCopyを使用して、インストールされたBTクライアントによって監視されているリモートマシン上のフォルダーにトレントをプッシュします。多くの場合、このデータは短い時間枠ですぐにプッシュする必要があります。コントロールルームには、これらのプッシュに使用する床のマシンと同じマシンがいくつかあります。

リモートマシンでプログラムを実行する必要がある場合があり、現在、バッチとPSexecを使用してこのタスクを処理しています。

これらの最後のプッシュに「ごめん、ご自身の過失」で対応できるようにしたいのですが、それは起こりません。BTメソッドを使用すると、応答時間が大幅に短縮されますが、複数のジョブがプッシュされると、バッチプロセス全体が乱雑になる可能性があります。私たちは他のプロセスにEnterprise Ghostを使用していますが、このような大規模な環境ではうまく機能しません。また、このような1年に1回のタスクでは非常に高価です。

編集:床のリモートマシンがWindowsを実行しているという厳しい要件があります。制御マシンにはハードOS要件はありません。アップストリームルーターとの合併症のため、マルチキャストから離れたいと思います。マルチキャストまたはBitTorrentがこれを実行するより良い方法ですか?よりよく機能する別のプロトコルはありますか?


3
よく書かれた質問として、どの質問でもStack Exchangeサイトでショッピング質問がオフトピックであると言うのは苦痛です。詳細については、Q&Aは難しいので、ショッピングFAQをご覧ください。
クリスS

I would really like to stay away from Multicast because of complications with upstream routers.なぜ詳しく説明できますか?
ゾレダチェ

2
正直なところ、マルチキャストソリューションを掘り起こすことは別として、自社開発のBitTorrentとPSExecのプロセスは、できる限り最高のように思えます。かなり/自動化のためにPowerShellをラップしたいかもしれませんが、それは私があなたに与えることができる最高の提案についてです
...-voretaq7

@ Zoredache-正直なところ、それはマルチキャストに関する十分な経験がないからです。私はゴーストとマルチキャストを扱ってきましたが、実際にはあまり良い結果を出していません。上流の機器は、当社が契約している施設に属しており、いくつかの場所でかなり難しいITグループに対処しています。私は、彼らのスタッフがマルチキャストとは何かを知ることさえ期待しないでしょう。
WMIF

@ voretaq7-私たちの構造の上にインターフェイスを置くことを検討しましたが、PowerShellでそれを行うのは難しいでしょう。PSを習得するのは苦痛でしたが、それは主に、より構造化された言語とは非常に異なる動作であるためです。その上にインターフェイスを配置すると、ほとんどの場合C#になります。
WMIF

回答:


12

マルチキャストファイル転送プログラム:UFTPが必要です。適切なドキュメントと、NAT /ルータートラバーサル用のプロキシスタイルの拡張機能も必要です。


私はあなたが与えたリンクのドキュメントを見続けていますが、低レベルのマルチキャストに関する言及はまだありません。つまり、これはまだチェーン上のルーターで確立されるマルチキャストランデブーポイントに依存していますか?ゲートウェイを提供する場所に依存しているため、この機能を提供できる独自の中央ルーターはありません。UFTPには、ソフトウェア内でそれをエミュレートする方法がありますか?
WMIF

これは、マルチキャストを扱うときによく得られる結果のタイプであり、なぜ私はそれを避けたいと述べたのですか。serverfault.com/questions/56487/...
WMIF

私はその質問のソフトウェアやハードウェアに精通していませんが、セットアップでそのような問題を経験したことはありません。マルチキャストは最も遅いクライアントの速度で実行されるため、クライアント速度の異なる「階層」がある場合は、各ストラタムに対して複数のマルチキャストセッションを実行できます(ただし、最終的な完了時間には影響しませんが、より高速なコンピューターの終了を許可します)より早く)。中間のスイッチとルーターはマルチキャストをサポートする必要があり、プロキシはそれをある程度緩和できますが、パフォーマンスが必要な場合は、信頼性の高いネットワークインフラストラクチャが必要です。
クリスS

この質問のインフラストラクチャに関係するスイッチはすべて管理対象外です。ルーターは場所ごとに異なり、マルチキャストをサポートすることは保証できません。自分のルーターを横に垂らしても、そのマルチキャスト部分に関与する方法はありますか?可能だとは思わないのでお願いします。
WMIF

管理は、マルチキャストのスイッチングサポートに直接影響しません。すべての1GBイーサネットスイッチはマルチキャストをサポートする必要があります(ただし、古くて特に安価なものはブロードキャストとして実装され、仕事が完了します)。通常、古いスイッチはすでにこれを行っています。ルーターのサポートがないため、プロキシのセットアップが必要になります(マルチキャスト分離されたネットワークセグメントごとに1つ)。明らかに、マルチキャストをサポートするルーターを使用するのが最も簡単ですが、プロキシを構成することはひどいことではありません(それらが大量にない限り)。
クリスS

5

あなたは殺人を調べたいかもしれません

殺人は、Bittorrentを使用して、運用環境内の大量のサーバーにファイルを配布する方法です。これにより、集中化された配信システムが機能しなかった数百から数万のサーバーの環境で、スケーラブルかつ高速に展開できます。

殺人はtwitterの人々によって開発されたものであり、彼らは毎日それを使用してファイルを配布しています。


4

新しいソリューションが登場した可能性があります:BitTorrent Sync

後の編集:実際、最近はgit-annexアシスタントまたはsyncthingをお勧めしますが、多くの 選択肢があります


このユースケースでは、別のものだけでなく、非常に良いものだと思います!
アーゲマン

同意する。/でこれを見つけました。そして、私は現在、いくつかのテストシナリオを設定して、期待どおりに機能するかどうかを確認しています。
WMIF

BT Syncで大規模なテストを行ったところ、マルチキャストブロードキャストのようなトラフィックに239.192.0.0を使用していることがわかりました。ネットワークインフラストラクチャを制御できなかったため、完全に分析することはできませんでしたが、これによりアウトバウンドのインターネットトラフィックが著しく急増していました。いくつかの一般的なファイル同期の不一致の問題と組み合わせると、十分な問題が発生し、シャットダウンする必要がありました。残念ながら、50台未満のコンピューターで小規模に美しく動作していたためです。
WMIF

1

あなたに役立つアイデアがあります。なぜこれがそれほど複雑である必要があるのか​​を完全には理解していないのでご容赦ください。ただし、エンドユーザーにとってシンプルでありながら、LAN内でデータをすばやく簡単に到達できるようにする必要がある場合は、 NASデバイス。別のSynologyドライブまたはさまざまなRSYNC対応デバイスとRSYNCできるSynology DS1812 +があり、「Download Station」と呼ばれるトレント対応アプリケーションが少しあります。ドライブベイからトレントファイルをダウンロードできることはわかっています。他のユーザーが必要なファイルをダウンロードできるように、そのアプリケーションでトレントファイルを投稿します。AppleとAndroidの両方のモバイルデバイス用のアプリがあります。FTP転送も実行できます。このドライブベイを使用すると、ファイルをすばやく送信し、LAN内にすばやく簡単に分散させることができます。LANユーザーのアクセスを高速化するためだけにLAN内にデータを配置することをお勧めしますが、これらのNASデバイスの利点は、高速インターネット接続があれば、どこにでもオンラインで保管できることです。おそらく、ハイエンドのSynology NASデバイスの1つがあなたのニーズにぴったりでしょう。

Synologyには仮想インターフェイスがあり、これを確認して、これがあなたにとって役立つかどうかをよりよく知ることができます。以下のリンクを仮想インターフェイスに貼り付けます

http://www.synology.com/products/dsm_livedemo.php?lang=us

また、このデバイスにより、人々はWebインターフェイスまたはモバイルデバイスアプリケーションを介してデータにアクセスできます。

これがお役に立てば幸いです。そして、私が言ったように、質問を正しく理解できなくても私を許してください。


1
彼が今やっていることよりも、それがどのように優れているかはわかりません。WMIFは、ユーザーが自分でデータを取得し始めるまで待つ必要はありません。彼/彼女のチームは、データファイルが利用可能になったときに、データファイルをマシンに事前ステージングすることが期待されています。
mfinni

@mfinniは正しいです。仕事は、出席者が部屋に足を踏み入れる前に、与えられたファイルがすべて会議室のコンピューターに確実に読み込まれるようにすることです。
WMIF
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.