LFTPを使用して1.8 TBの個々のファイルを最適に変換するにはどうすればよいですか？

Raspberry Piを使用して、FTPサーバー上のファイルとディレクトリを外付けHDDにミラーリングすることに注目しました。

次のコマンドを使用しました。

lftp user@adress.com

mirror --use-pget-n=8 /

ファイルはダウンロードされていますが、実行速度は非常に遅いようです。約10時間の実行後、139GBのみがダウンロードされました。デスクトップでFilezillaを使用して（Linux Mintを実行して）ダウンロードを実行するたびに、4時間で200GBをダウンロードしました。

各ファイルをダウンロードするセグメントの数を知らなかったので、8を選択しました。しかし、ファイルをセグメントに分割する利点については完全にはわかりません。

Speedtest.netによると、私のダウンロード速度は約40Mb /秒でピークに達し、通常は約30Mb /秒です。

パフォーマンスを改善するために使用できるパラメーターはありますか、それともRaspberry Piのハードウェアにありますか？

すべてのファイルをアーカイブして一度にダウンロードしますが、サーバーへの他のアクセス権はありません。

ありがとう。

FTPサーバーからファイルをダウンロードする最も速い方法は、サーバーでlftpを実行し、ループバックインターフェイスを介してファイルをダウンロードすることです。

あなたの質問は不正確です（今のところそれはさておき）。

Speedtestは、ビット/秒を提供します。40 Mbit / sは5 MByteです。5 MB /秒* 3600秒* 4 = 72k MBまたは約70ギガバイト。速度が40 MB / s（320 Mbit / s）だった場合、4時間で約560ギガバイトをダウンロードしたことになります。最新の一般消費者向けのハードドライブでさえ、これほど高速に書き込むことはできないと思うので、SSDドライブが必要になります。それらは500以上のギグでも利用可能ですか？

説明した構成では47 MB​​ /秒のボトルネックが発生しており、その原因として最も可能性が高いのは（ハードドライブ自体ではない場合）外付けハードドライブのUSB接続です。ただし、ドライブがUSB経由で接続されたとは述べていません。RasPiは、私が知っている限りでは、ネットワークドライブにダウンロードできます。その場合、RasPiのイーサネットネットワークは実際にはUSBアダプターであるため、USB 2の理論上の60MB / sの制限によって制限されます。

私のコメントは決定的ではありませんが、RasPiハードウェアがボトルネックのせいだと結論付けるのは合理的だと思います。

不安定な接続（またはUDP）を介してダウンロードする場合、ファイルのセグメンテーションはより重要になります。1つのファイルの転送中にネットが頻繁に抜けない場合、アプリケーションレベルのセグメンテーションを使用すると、いくつかの追加のチェックサムしか得られません。実際、ほとんどの場合、それらは表示されません。