BitTorrentは職場のサーバー間でファイルをコピーするのに適していますか?


12

約30 GBのファイルを含む1つのソースサーバーがあり、これを他の7つのサーバーにコピーします。現在、ファイルを最初の4つのサーバーにSCPし、その転送が完了すると最後の3つのサーバーにSCPを送信します。

BitTorrentを使用すると、ファイルを一度に7つすべてに配布するのが速くなりますか?内部の接続はすでに高速で、各サーバー間で一貫しています。おそらくソースサーバーからある程度の負荷がかかることはわかっていますが、ファイルを配布するのに時間がかかりますか?

シェルから使用できる優れたスクリプト可能なクライアントとは何ですか?私は誰もが100%後に種まきを停止したいと思います。

回答:


7

ネットワークのレイアウト方法とボトルネックの場所に依存しますが、はい、BitTorrentを使用するほうが高速です。理論的には、同じファイルの7つのコピーを送信する代わりに、ソースサーバーは1つのコピーを送信するだけで、受信者間で分割する必要があります。発生するまでに、残りのピアは、直接受信しなかった部分を相互に共有します。

しかし、マルチキャストネットワークサポートしている場合、それを設定する方が簡単でしょうudpcastMDPmultisendソースがすべての受信者にそれをデータの単一のコピーを送信し、ネットワークの意志ルートます、またはそのような何かを。


最終的に、Udpcastを使用したマルチキャスト方式を採用しました。そして、それは完全に機能します!
エドワード

3

rsyncなどの他のファイル配布ツールに対するBitTorrentの利点は、クライアントが他のクライアントにデータの提供を開始することです。したがって、サーバーがクライアントへの接続が遅い場合、スループットははるかに向上します。

ただし、BTはグローバル共有用に設計されたプロトコルです。したがって、他のすべてのクライアントをロックアウトする手段を見つける必要がありますが、フィードしたい7つ(または、急流はまもなくThe Pirate Bayに到達します)。

100%で停止する場合、すべてのBTクライアントがそれを行います。クライアントがデータを要求しないため、シードは行われなくなります。アプリケーションは引き続き実行されますが、クライアントとトラッカーの間でデータのわずかなトリクルが発生するだけで、まだ利用可能であることがわかります。

Pythonで書かれた元のBitTorrentクライアントを試してください。これにより、必要な変更を加えることができます。残念ながら、リンクATMが見つかりません。誰でも?

[編集]コメントsauaに基づく:プライベートトラッカーを使用している場合、急流が突然広がることはありません。ただし、信頼できるソースからのトレントクライアントのみを使用する必要があります。そうしないと、一部のクラッカーが、プライベートトレントを公開したくない場所に公開するコードに少し余分な機能を追加する危険があります。


2
トレントを公開しないことは、プライベートトラッカーを使用して簡単に行えます。
ヨアヒムザウアー

1
クライアントのソースコードに「このトレントについてハッカーサーバーに伝えましょう」というコードが含まれていないことを100%確信していますか?ここでは首を危険にさらしたくない。
アーロンディグラ2009

7
コードを信頼せずに実行する場合、プライベートトレントに関するデータを漏洩させることは、最も心配することではありません。
マイケルボルグワード

1

BitTorrentは、たとえば、同じ場所からコピーするためにすべてのサーバーにリモートコマンドを発行する必要なく、サーバーのツリーを通じてファイルを複製する場合に最適です。潜在的にボトルネックを引き起こします。

Twitterのエンジニアはこれを達成し、Murderで大成功を収めました。Murderは現在githubにあります。

http://engineering.twitter.com/2010/07/murder-fast-datacenter-code-deploys.html


0

Bit Torrentを使用して、サーバーの8つすべてがネットワークの同じセクションに接続されている場合、速度が向上する可能性は低くなります。実際、非常に多くの衝突が発生するため、おそらく非常に遅くなります。BitTorrentは、完全に切り替えられたネットワークを使用していて、8台のサーバーが他のサーバー間の通信に影響を与えることなく独立して互いに通信できる場合にのみ速度を上げます。


良い点-しかし、完全に切り替えられていないネットワークは本当にたくさんありますか?
フィリスディラー

2
サーバーに接続するハブを見たのはいつですか?最近では、私たち全員が全二重交換ネットワークを使用しています。
ミルチャVutcovici
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.