Wgetを使用した複数の同時ダウンロード？

wgetを使用してWebサイトのコンテンツをダウンロードしていますが、wgetはファイルを1つずつダウンロードします。

4つの同時接続を使用してwgetをダウンロードするにはどうすればよいですか？

aria2を使用します。

aria2c -x 16 [url]
#          |
#          |
#          |
#          ----> the number of connections 

http://aria2.sourceforge.net

大好きです ！！

Wgetは、ファイルのダウンロードを高速化するために、複数のソケット接続をサポートしていません。

私たちは、gmarianの回答よりも少し上手にできると思います。

正しい方法はを使用することaria2です。

aria2c -x 16 -s 16 [url]
#          |    |
#          |    |
#          |    |
#          ---------> the number of connections here

GNU Parallelはまだ言及されていないので、別の方法で説明しましょう。

cat url.list | parallel -j 8 wget -O {#}.html {}

（おそらく）解決策を見つけました

あるサーバーから次のサーバーに数千のログファイルをダウンロードする過程で、突然BSDで深刻なマルチスレッドダウンロードを行う必要がありました。これは、Wgetを使用して、これを処理するのに最も簡単な方法だと思いました。少し見回すと、この小さなナゲットに私を導きました：

wget -r -np -N [url] &
wget -r -np -N [url] &
wget -r -np -N [url] &
wget -r -np -N [url]

wget -r -np -N [url]必要な数だけスレッドを繰り返してください...これはかなり良くないので、これを行うには確かにもっと良い方法がありますが、何か速くて汚いことが必要な場合はそれでうまくいきます...

注：このオプションを選択-Nすると、wget「新しい」ファイルのみがダウンロードされます。つまり、サーバーでタイムスタンプが変更されない限り、ファイルが上書きまたは再ダウンロードされることはありません。

これを実行できる別のプログラムはaxelです。

axel -n <NUMBER_OF_CONNECTIONS> URL

基本的なHTTP認証の場合、

axel -n <NUMBER_OF_CONNECTIONS> "user:password@https://domain.tld/path/file.ext"

Ubuntuのmanページ。

新しい（まだリリースされていない）ツールはMgetです。Wgetから既知の多くのオプションがあり、独自のアプリケーションにダウンロードを簡単に埋め込む（再帰的）ライブラリを備えています。

あなたの質問に答えるには：

mget --num-threads=4 [url]

更新

Mgetは、多くのバグが修正され、より多くの機能（HTTP / 2サポートなど）を備えたWget2として開発されました。

--num-threadsです--max-threads。

httrackを使用することを強くお勧めします。

例： httrack -v -w http://example.com/

デフォルトでは、8つの同時接続でミラーリングを行います。Httrackには、プレイする場所がたくさんあります。見てください。

他のポスターが述べたように、aria2をご覧になることをお勧めします。バージョン1.16.1のUbuntu manページから：

aria2はファイルをダウンロードするためのユーティリティです。サポートされるプロトコルは、HTTP（S）、FTP、BitTorrent、Metalinkです。aria2は、複数のソース/プロトコルからファイルをダウンロードでき、最大ダウンロード帯域幅を利用しようとします。HTTP（S）/ FTPおよびBitTorrentからのファイルのダウンロードを同時にサポートし、HTTP（S）/ FTPからダウンロードされたデータはBitTorrentスウォームにアップロードされます。Metalinkのチャンクチェックサムを使用して、aria2は、BitTorrentのようなファイルをダウンロードするときに、データのチャンクを自動的に検証します。

-xフラグを使用して、サーバーごとの最大接続数を指定できます（デフォルト：1）。

aria2c -x 16 [url] 

同じファイルを複数の場所から入手できる場合は、それらすべてからダウンロードすることを選択できます。-jフラグを使用して、すべての静的URIの並列ダウンロードの最大数を指定します（デフォルト：5）。

aria2c -j 5 [url] [url2]

詳細については、http：//aria2.sourceforge.net/を参照してください。使用方法については、manページが説明的で、下部に使用例のセクションがあります。オンラインバージョンはhttp://aria2.sourceforge.net/manual/en/html/README.htmlにあります。

wgetは複数の接続でダウンロードできません。代わりに、aria2のような他のプログラムを使用してみることができます。

pcurlを試す

http://sourceforge.net/projects/pcurl/

wgetの代わりにcurlを使用し、10セグメントで並行してダウンロードします。

使用する

aria2c -x 10 -i websites.txt >/dev/null 2>/dev/null &

websites.txtに、1行に1つのURLを入力します。例：

https://www.example.com/1.mp4
https://www.example.com/2.mp4
https://www.example.com/3.mp4
https://www.example.com/4.mp4
https://www.example.com/5.mp4

彼らは常にそれが依存していると言いますが、それがウェブサイトをミラーリングすることになると、最高のhttrackが存在します。超高速で作業が簡単です。唯一の欠点は、いわゆるサポートフォーラムですが、公式のドキュメントを使用して方法を見つけることができます。GUIとCLIの両方のインターフェイスがあり、Cookieをサポートしています。ドキュメントを読むだけですこれは最高です（このツールを使用すると、ハードドライブにWeb全体をダウンロードできます）。

httrack -c8 [url]

デフォルトでは、サーバーの過負荷を回避するために、同時接続の最大数は8に制限されています

複数のファイルで並行xargsしてwget作業するために使用します

#!/bin/bash

mywget()
{
    wget "$1"
}

export -f mywget

# run wget in parallel using 8 thread/connection
xargs -P 8 -n 1 -I {} bash -c "mywget '{}'" < list_urls.txt

Aria2オプション、20MB未満のファイルを扱う正しい方法

aria2c -k 2M -x 10 -s 10 [url]

-k 2M ファイルを2MBのチャンクに分割

-kまたは--min-split-size20mbのデフォルト値があります。このオプションを設定していない場合、20mb未満のファイルは、-xまたはの値に関係なく、単一の接続でのみ実行されます-s

make簡単に並列化できます（例：）make -j 4。たとえば、Makefilewgetを使用してファイルを並行してダウンロードするために使用している簡単な例を次に示します。

BASE=http://www.somewhere.com/path/to
FILES=$(shell awk '{printf "%s.ext\n", $$1}' filelist.txt)
LOG=download.log

all: $(FILES)
    echo $(FILES)

%.ext:
    wget -N -a $(LOG) $(BASE)/$@

.PHONY: all
default: all

正規表現またはFTP Globbingの使用を検討してください。これにより、発生頻度に応じて、ファイル名の開始文字の異なるグループでwgetを複数回開始できます。

これは、たとえば、2つのNAS間でフォルダを同期する方法です。

wget --recursive --level 0 --no-host-directories --cut-dirs=2 --no-verbose --timestamping --backups=0 --bind-address=10.0.0.10 --user=<ftp_user> --password=<ftp_password> "ftp://10.0.0.100/foo/bar/[0-9a-hA-H]*" --directory-prefix=/volume1/foo &
wget --recursive --level 0 --no-host-directories --cut-dirs=2 --no-verbose --timestamping --backups=0 --bind-address=10.0.0.11 --user=<ftp_user> --password=<ftp_password> "ftp://10.0.0.100/foo/bar/[!0-9a-hA-H]*" --directory-prefix=/volume1/foo &

最初のwget 0, 1, 2... F, G, Hは次で始まるすべてのファイル/フォルダーを同期し、2番目のスレッドはその他すべてを同期します。

これは、1つの10Gイーサネットポート（10.0.0.100）を持つNASと2つの1Gイーサネットポート（10.0.0.10および10.0.0.11）を持つNASの間で同期する最も簡単な方法でした。2つのwgetスレッドを--bind-address別のイーサネットポートにバインドし、&各行の終わりに配置して並列に呼び出しました。それにより、2x 100 MB /秒=合計200 MB /秒の巨大なファイルをコピーすることができました。