タグ付けされた質問 「wget」

私は、自己署名SSL証明書を使用して開発サイトを実行しているローカル開発サーバーの1つにcurl要求を作成しようとしています。コマンドラインからcurlを使用しています。 私は有効な証明書（自己署名）を使用すると、証明書のリストに追加したり、特定のを指定することができることを言及し、いくつかのブログの記事を見ましたが、キャッチオールのSSL証明書「を検証していない」というのが方法がある-などの--no-check-certificatewgetが持っている？

446 wget  curl 

私は違いを知ることに熱心だcurlとwget。どちらもファイルとドキュメントを取得するために使用されますが、それらの主な違いは何ですか。 なぜ2つの異なるプログラムがあるのですか？

258 utilities  wget  curl  download 

wgetまたはのダウンロード速度を調整（制限）することは可能curlですか？ ダウンロード中にスロットル値を変更することは可能ですか？

97 networking  wget  curl  download 

wgetディレクトリにファイルをダウンロードするために使用する必要があります/var/cache/foobar/（したがって、例として、ダウンロードする場合、にダウンロードstackexchange-site-list.txtされます/var/cache/foobar/stackexchange-site-list.txt） これは可能ですか？curlオプションもありますが、curlデフォルトではインストールされないため、使用しないことをお勧めします。

91 wget 

特定のディレクトリにあるアーカイブをダウンロードして抽出したいのですが。ここに私がこれまでやってきた方法があります： wget http://downloads.mysql.com/source/dbt2-0.37.50.3.tar.gz tar zxf dbt2-0.37.50.3.tar.gz mv dbt2-0.37.50.3 dbt2 代わりに、ディスクに書き込まずにアーカイブをその場でダウンロードして抽出したいと思いますtar.gz。wgetto の出力をパイピングし、ターゲットtarを与えることでこれが可能だと思いますtarが、実際には、ピースをどのように組み合わせるかわかりません。

62 shell  pipe  tar  wget 

ターミナルを使用して、Googleドライブからフォルダーをダウンロードしたいですか？それを行う方法はありますか？私はこれを試しました： $ wget "https://drive.google.com/folderview?id=0B-Zc9K0k9q-WWUlqMXAyTG40MjA&usp=sharing" ただし、次のテキストファイルをダウンロードしています：folderview?id=0B-Zc9K0k9q-WdEY5a1BCUDBaejQ&usp=sharing。ターミナルからGoogleドライブフォルダをダウンロードする方法はありますか？

59 wget  download 

私は、ファイルをダウンロードしようとするwgetとcurl、それは（禁断の）403エラーで拒否されます。 同じマシンのWebブラウザを使用してファイルを表示できます。 http://www.whatsmyuseragent.comで取得したブラウザーのユーザーエージェントで再試行します。私はこれをします： wget -U 'Mozilla/5.0 (X11; Linux x86_64; rv:30.0) Gecko/20100101 Firefox/30.0' http://... そして curl -A 'Mozilla/5.0 (X11; Linux x86_64; rv:30.0) Gecko/20100101 Firefox/30.0' http://... しかし、それはまだ禁止されています。403には他にどのような理由がありますか？wgetおよびcurlコマンドを変更してそれらを克服する方法はありますか？ （これはファイルを取得できることではなく、ブラウザから保存するだけでよいことを知っています。コマンドラインツールの動作が異なる理由を理解することです） 更新 この質問に対する素晴らしい回答をありがとう。私が遭遇した特定の問題は、サーバーがリファラーをチェックしていたことです。これをコマンドラインに追加すると、curlとを使用してファイルを取得できますwget。 リファラーをチェックしたサーバーは、302を介してチェックをまったく実行していない別の場所にバウンスしたため、そのサイトの1 curlつまたは複数wgetのサイトが正常に機能しました。 誰かが興味を持っているなら、私はこのページを読んで埋め込まれたCSSについて学び、サイトのCSSを例として見ようとしていたので、これが起こりました。私が問題を抱えていた実際のURLはこれであり、curl私はでした curl -L -H 'Referer: http://css-tricks.com/forums/topic/font-face-in-base64-is-cross-browser-compatible/' http://cloud.typography.com/610186/691184/css/fonts.css そして、wgetは wget --referer='http://css-tricks.com/forums/topic/font-face-in-base64-is-cross-browser-compatible/' http://cloud.typography.com/610186/691184/css/fonts.css とても興味深い。

57 wget  curl 

方法を尋ねないので注意してください。pvやなどのオプションは既に知っていますrsync -P。 少なくともフラグとしてプログレスバーを実装しない理由を尋ねたいのcpですが。

55 wget  cp  architecture 

wgetを使用してファイルをダウンロードする必要がありますが、ファイル名が正確にはわかりません。 https://foo/bar.1234.tar.gz manページによると、wgetを使用すると、ftpサイトを扱うときにグロビングをオフまたはオンにすることができますが、http URLがあります。 wgetの使用中にワイルドカードを使用するにはどうすればよいですか？私はgnu wgetを使用しています。 私が試したもの。 /usr/local/bin/wget -r "https://foo/bar.*.tar.gz" -P /tmp 更新 -Aを使用すると、サーバー上の.tar.gzで終わるすべてのファイルがダウンロードされます。 /usr/local/bin/wget -r "https://foo/" -P /tmp -A "bar.*.tar.gz" 更新 答えから、これは最終的に機能した構文です。 /usr/local/bin/wget -r -l1 -np "https://foo" -P /tmp -A "bar*.tar.gz"

53 wget 

私はプロキシを使用してネットワークにいます。あちこちでHTTPを介して相互にアクセスする多くのスクリプトを使用するマシンがあります。 ネットワークは10.0.0.0/8です。 私のプロキシは10.1.1.1:81なので、それに応じて設定します。 export http_proxy=http://10.1.1.1:81/ プロキシを使用してアクセスする独自の範囲を除外したい。利用可能な任意の組み合わせを試しました。 export no_proxy='10.*' export no_proxy='10.*.*.*' export no_proxy='10.0.0.0/8' 上記の作業はどれもありません！ 私はテストを行ってwgetおり、接続したいIPアドレスが何であれ、常にプロキシを照会しようとします。 多くのスクリプトがすべてのシステムのどこにでもあるので、--no-proxyオプションは実際にはオプションではありません。システム全体に設定したい。

52 bash  wget  curl  http-proxy 

この質問はでそれをする方法を説明しcurlます。受け入れられた答えも指摘している wgetが利用可能な場合、それははるかに簡単です。 私は目を通しましたman wgetが、そこに迷子になり、リダイレクトに従うオプションが見つかりませんでした。

48 wget 

Linuxコマンドラインツールを使用して、部分的にダウンロードしたファイルを再開するにはどうすればよいですか？ 大きなファイルを部分的にダウンロードしました。つまり、停電のために900 MBのうち400 MBをダウンロードしましたが、ダウンロードを再開すると、最初から再開します。400 MB自体から開始するにはどうすればよいですか？

37 wget  curl  download 

list_of_urls次のようになっているとします： http://www.url1.com/some.txt http://www.url2.com/video.mp4 私はそれを使用する方法を知っています： wget -i list_of_urls しかし、私list_of_urlsがこれを持っていて、PDFやビデオなどの適切なファイルがすべて返されたらどうなりますか？ http://www.url1.com/app?q=123&gibb=erish&gar=ble http://www.url2.com/app?q=111&wha=tcha&mac=allit 単一のファイルの場合、これを行うことができます： wget -O some.txt "http://www.url1.com/app?q=123&gibb=erish&gar=ble" wgetURLのリストをダウンロードし、返されたデータを適切なローカルファイルに保存するにはどうすればよいですか？

35 files  wget  download  links 

次のwgetコマンドに問題があります。 wget -nd -r -l 10 http://web.archive.org/web/20110726051510/http://feedparser.org/docs/ 元のWeb上のリンクされたドキュメントをすべて再帰的にダウンロードする必要がありますが、ダウンロードするのは2つのファイル（index.htmlおよびrobots.txt）のみです。 この Webを再帰的にダウンロードするにはどうすればよいですか？

32 wget 

wgetを使用してsourceforgeからファイルをダウンロードしようとしていますが、ご存知のように、ダウンロードボタンをクリックしてから、自動ダウンロードを待つ必要があります。wgetを使用してこのタイプのファイルをどのようにダウンロードしますか？ これをダウンロードしようとしています：http : //sourceforge.net/projects/bitcoin/files/Bitcoin/bitcoin-0.8.1/bitcoin-0.8.1-linux.tar.gz/download しかし、そのURLリンクでwgetを実行しても、ファイルはブラウザーを介して自動的にロードされるため、ファイルを取得できません。

32 wget