リストからファイルをダウンロードする

wgetまたはその他の自動方法を使用して（テキストファイルにリストされている）ファイルをダウンロードするにはどうすればよいですか？

サンプルファイルリスト：

www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf

wgetにはこのための組み込みフラグwget -i your_list があります。man wget

並行して取得します

cat urlfile | parallel --gnu "wget {}"

デフォルトでは、コアと同じ数のプロセスを実行します。並列処理の後に「-j 20」を追加することで、本当にすぐにプルダウンしたい場合は、おそらくこれをさらに10倍に増やすことができます。

xargs -i wget 'http://{}'  < your_list

parallel入力ファイルをソースとして使用する組み込みフラグ--arg-file（-a）があるため、を回避できますcat |。使用できます

parallel --gnu -a urlfile wget

または単に parallel --gnu wget < urlfile

awk '{print "http://" $0;}' list.txt | xargs -l1 wget

list.txtはリストファイルです

Florian Dieschの答えを見ました。

bqcコマンドにパラメーターを含めることで機能するようになりました。

xargs -i wget -bqc 'http://{}' < download.txt

すべてのダウンロードはバックグラウンドで並行して開始されました。

• -b： バックグラウンド。開始後すぐにバックグラウンドに移動する
• -q：静か。wgetの出力をオフにする
• -c： 持続する。部分的にダウンロードされたファイルの取得を続けます

リンクファイルlinks.txt

すべてのリンクファイルをダウンロードするためのコマンド

cat links.txt | wget -i

私はこれをテストしました：

xargs -a download_file -L1 wget

わたしにはできる。txtファイル内のリンクは、別々の行にする必要があります。