ファイル転送を高速化する逆多重化

あるマシンから別のマシンに大量のデータを送信しました。rsync（またはその他の方法）で送信すると、安定した320 kb /秒で送信されます。一度に2つまたは3つの転送を開始すると、それぞれが320になり、一度に4つ行うと、リンクが最大になります。

可能な限り高速にデータを送信できる必要があるため、ファイル転送で逆多重化を実行できるツールが必要です。一般的な解決策が必要なので、ソースマシンでsplitを実行し、もう一方の端でそれらをまとめて実行することは実用的ではありません。自動化された方法で動作するためにこれが必要です。

これを行うツールはありますか、それとも自分で作成する必要がありますか？送信者はCentOS、受信者はFreeBSDです。

それをすべて証明すると、リモートミラーコマンドの「聖杯」を提示します。lftp提案してくれたdavrに感謝します。

lftp -c "mirror --use-pget-n=10 --verbose sftp://username:password@server.com/directory" 

上記は、リモートディレクトリを再帰的にミラーリングし、各ファイルが転送されるときに10個のスレッドに分割します！

動作する可能性のあるツールがいくつかあります。

• LFTP -FTP、HTTP、およびSFTPをサポートします。複数の接続を使用して単一のファイルをダウンロードすることをサポートします。remoteServerからlocalServerにファイルを転送する場合、localServerにLFTPをインストールして、次を実行します。

  lftp -e 'pget -n 4 sftp://userName@remoteServer.com/some/dir/file.ext'

  「-n 4」は、並行して使用する接続の数です。

• 次に、多くの「ダウンロードアクセラレータ」ツールがありますが、通常はHTTPまたはFTPのみをサポートしています。これらはリモートサーバーにセットアップする必要はないかもしれません。いくつかの例は、Axel、aria2、およびProZillaです

使用するファイルが大きくない場合lftp -e 'mirror --parallel=2 --use-pget-n=10 <remote_dir> <local_dir>' <ftp_server>：各ファイルを10個のセグメントに分割して2つのファイルをダウンロードし、合計20個のFTP接続を使用し<ftp_server>ます。

小さなファイルが大量にある場合は、次を使用しlftp -e 'mirror --parallel=100 <remote_dir> <local_dir>' <ftp_server>ます。セグメンテーションなしで並行して100個のファイルをダウンロードします。合計100の接続が開かれます。これにより、サーバー上で利用可能なクライアントが過剰に消費されたり、一部のサーバーで禁止されたりする可能性があります。

を使用--continueしてジョブを再開できます:)および-Rダウンロードの代わりにアップロードするオプション（引数の順序をに切り替えます<local_dir> <remote_dir>）。

接続ごとの320KB / sの制限の原因によっては、TCP設定を調整してこの問題を回避できる場合があります。私の推測では、ISPによる明示的な接続ごとのレート制限ではありません。調整には2つの原因が考えられます。

1. 2つのマシン間のリンクが飽和状態になり、パケットがドロップされます。
2. 帯域幅遅延の積が大きすぎるため、TCPウィンドウは飽和しています。

最初のケースでは、各TCP接続は事実上、標準のTCP輻輳制御で同等に競合します。輻輳制御アルゴリズムを変更するか、バックオフの量を減らすことにより、これを改善することもできます。

2番目のケースでは、パケット損失による制限はありません。追加の接続を追加することは、合計ウィンドウサイズを拡張する粗雑な方法です。ウィンドウのサイズを手動で増やすことができれば、問題はなくなります。（接続の待ち時間が十分に長い場合、TCPウィンドウのスケーリングが必要になる場合があります。）

ラウンドトリップの「ping」時間に接続の合計速度を掛けることで、ウィンドウの大きさをおよそ知ることができます。1280KB / sには、1ミリ秒のラウンドトリップあたり1280（1024 = 1Kの場合は1311）バイトが必要です。64Kバッファーは約50ミリ秒のレイテンシーで最大になりますが、これはかなり一般的です。16Kバッファーは約320KB / sで飽和します。

データはどのように構造化されていますか？いくつかの大きなファイル？いくつかの大きなディレクトリ？ディレクトリツリーの特定のブランチでrsyncの複数のインスタンスを生成できます。

それはすべて、ソースデータの構造に依存します。ファイルをスライス、ダイス、および再構築するためのUNIXツールが多数あります。

パスワードなしのsshログインをセットアップできる場合、4つの同時scp接続（-n）が開き、各接続が4つのファイル（-L）を処理します。

見つける。タイプf | xargs -L 4 -n 4 /tmp/scp.sh user @ host：path

ファイル/tmp/scp.sh：

#!/bin/bash

#Display the help page
function showHelp()
{
    echo "Usage: $0 <destination> <file1 [file2 ... ]>"
}

#No arguments?
if [ -z "$1" ] || [ -z "$2" ]; then
    showHelp
    exit 1
fi

#Display help?
if [ "$1" = "--help" ] || [ "$1" = "-h" ]; then
    showHelp
    exit 0
fi

#Programs and options
SCP='scp'
SCP_OPTS='-B'
DESTINATION="$1";shift;

#Check other parameters
if [ -z "$DESTINATION" ]; then
    showHelp
    exit 1
fi

echo "$@"

#Run scp in the background with the remaining parameters.
$SCP $SCP_OPTS $@ $DESTINATION &

inodeですべてのファイルをソートして（/ mydir -type f -print | xargs ls -i | sort -nを検索）、たとえばcpio over sshで転送してみてください。これにより、ディスクが最大限に使用され、ネットワークがボトルネックになります。それよりも速いのは、ネットワークを横断するときに行きにくいです。

ファイルをまとめて転送できるツールを知っています。このツールは「rtorrent」パッケージ/ポートと呼ばれ、両方のホストで利用可能です;）BitTorrentクライアントは、転送前にディスクスペースを予約することが多く、チャンクはソケットからディスクに直接書き込まれます。さらに、ncursesの素敵な画面ですべての転送の状態を確認できます。

単純なbashスクリプトを作成して「* .torrent」ファイルの作成を自動化し、リモートマシンにコマンドをsshしてダウンロードします。これは少しugいように見えますが、開発せずに簡単な解決策を見つけるとは思いません：

FTPは、ダウンロードに複数の接続を使用します。VPNを介したFTPまたはSSHを介したFTPの安全なチャネルを設定できる場合、ネットワークリンクを最大限に活用できるはずです。（FTP over SSHには特別な考慮事項が必要であることに注意してください。リンクを参照してください。）

FTPS（FTP over SSL）も必要なことを行う場合があります。

複数の接続をサポートするSFTPクライアントを使用することもできますが、SFTPが単一のファイルに対して複数の接続をサポートするかどうかはわかりません。これは、ほとんどの場合に必要なことを行うはずですが、1つの大きなファイルを転送するだけでよい場合、最大スループットが得られない場合があります。

解決策1：これがあなたのケースで実用的かどうかわかりませんが、スパンアーカイブ（たとえば、チャンクに分割されたtarファイル、またはスパン7zipアーカイブ）を作成し、rsyncの複数のインスタンスを使用してそれらを送信することができますネットワークを構築し、反対側でそれらを再構築/抽出します。引数が転送されるディレクトリと使用する接続数である汎用スクリプトを作成できます。明らかな欠点は、両側に2倍の空きスペースが必要になり、両端でファイルをアーカイブ/抽出するオーバーヘッドが追加されることです。

解決策2：より良い解決策は、サイズに基づいて大きなディレクトリツリーをサブツリーに分割し、それらのサブツリーを並行してコピーするスクリプトまたはプログラムを作成することです。最初にディレクトリ構造全体（ファイルなし）をコピーすると、物事が簡単になる場合があります。

信頼できる環境で2台のマシンを実行していますか？netcatを試すことができます。サーバー側で：

tar -czf - ./yourdir | nc -l 9999

そしてクライアントで：

nc your.server.net 9999 > yourdir.tar.gz

クライアント接続にsshトンネルを使用させることができます。

ssh -f -L 23333:127.0.0.1:9999 foo@your.server.net sleep 10; \
    nc 127.0.0.1 23333 > yourdir.tar.gz

パーティション全体でもこの方法で移動できます。

dd if=/dev/sda1 | gzip -9 | nc -l 9999

そしてクライアントで：

nc your.server.net 9999 > mysda1.img.gz

。

注意

netcatは世の中で最も安全な転送ツールではありませんが、適切な環境ではオーバーヘッドが非常に少ないため高速になります。

HowtoForgeには良い例のページがあります。