プログラミング wget

5

閉まっている。この質問はスタックオーバーフローのガイドラインを満たしていません。現在、回答を受け付けていません。この質問を改善してみませんか？Stack Overflowのトピックとなるように質問を更新します。 2年前休業。この質問を改善する MAC OS 10.11.1にwgetをインストールしようとしましたが、実行する./configure --with-ssl=opensslと次のエラーが表示されます。 configure: error: --with-ssl=openssl was given, but SSL is not available. OSX 10.11.1でこの問題を解決するにはどうすればよいですか？

136 macos wget osx-elcapitan libssl libressl

7

Wgetを使用して、URLからすべての画像を1つのフォルダーにダウンロードするにはどうすればよいですか？

私はwgetを使用してWebサイトからすべての画像をダウンロードしていますが、正常に動作しますが、サイトの元の階層とすべてのサブフォルダーが保存されるため、画像が点在しています。すべての画像を単一のフォルダーにダウンロードする方法はありますか？現在使用している構文は次のとおりです。 wget -r -A jpeg,jpg,bmp,gif,png http://www.somedomain.com

133 wget

4

curlとwgetのどちらが良いですか？[閉まっている]

休業。この質問は意見に基づいています。現在、回答を受け付けていません。この質問を改善してみませんか？この投稿を編集して、事実と引用で回答できるように質問を更新してください。 5年前休業。この質問を改善するそれらは同じですか？特定のことを片方で行うことはできますか？それらは何ですか？それとも、結局のところ、親しみやすさの問題ですか？

132 linux curl wget

4

Pythonリクエストを使用してブラウザに偽装する方法は？

以下のサイトからコンテンツを入手したい。FirefoxやChromeなどのブラウザを使用すると、希望する実際のWebサイトページを取得できますが、Pythonリクエストパッケージ（またはwgetコマンド）を使用して取得すると、まったく異なるHTMLページが返されます。私はウェブサイトの開発者がこれのためにいくつかのブロックを作ったと思ったので、問題は： Pythonリクエストまたはコマンドwgetを使用して、ブラウザーの訪問を偽装するにはどうすればよいですか？ http://www.ichangtou.com/#company:data_000008.html

126 python html web-scraping python-requests wget

6

シェル変数でWebページのコンテンツを取得するにはどうすればよいですか？

Linuxでは、URLをフェッチして、その内容をシェルスクリプトの変数に取得するにはどうすればよいですか？

115 linux bash shell wget

5

出力ドキュメントとヘッダーをSTDOUTにWget

ドキュメントの本文とそのヘッダーをwgetでstdoutに出力しようとしています wget -S -O - http://google.com ただし、htmlドキュメントのみが表示されます。ありがとう UPD：これを働いた wget --save-headers --output-document - http://google.com wget --version 変更されたGNU Wget 1.11.4 Red Hatを示します

115 linux http wget

10

curlがリダイレクトされた後に最終URLを取得する

できればcurlまたはwgetを使用してページをリダイレクトした後、最終的なURLを取得する必要があります。たとえば、http ：//google.comはhttp://www.google.comにリダイレクトする場合があります。内容は簡単に取得できます（例curl --max-redirs 10 http://google.com -L）が、私は最終的なURL（前者の場合はhttp://www.google.com）だけに興味があります。 Linuxの組み込みツールのみを使用してこれを行う方法はありますか？（コマンドラインのみ）

110 linux redirect curl wget

5

cURLを使用してGitHubからtarballをダウンロードするにはどうすればよいですか？

cURLを使用してGitHubからtarballをダウンロードしようとしていますが、リダイレクトされていないようです。 $ curl --insecure https://github.com/pinard/Pymacs/tarball/v0.24-beta2 <html><body>You are being <a href="https://nodeload.github.com/pinard/Pymacs/tarball/v0.24-beta2">redirected</a>.</body></html> 注：wgetは私にとってはうまくいきます： $ wget --no-check-certificate https://github.com/pinard/Pymacs/tarball/v0.24-beta2 ただし、cURLを使用したいのは、最終的には次のようにインラインで展開するためです。 $ curl --insecure https://github.com/pinard/Pymacs/tarball/v0.24-beta2 | tar zx リダイレクト後のURLがhttps://download.github.com/pinard-Pymacs-v0.24-beta1-0-gcebc80b.tar.gzであることが判明しましたが、cURLを十分にスマートにして、これ。

93 linux curl github wget

2

コマンドラインからHTTP OPTIONSリクエストを送信する方法

私はcURLを使用しようとしましたが、デフォルトでは（Debian）はHTTPSサポートでコンパイルされていないようで、自分でビルドしたくありません。 wget SSLをサポートしているようですが、wgetを使用してOPTIONS HTTPリクエストを生成する方法に関する情報は見つかりませんでした。

92 curl wget

3

wget / curlを使用して、特定のWebページ上の.zipファイルへのすべてのリンクをダウンロードするにはどうすればよいですか？

ページには、ダウンロードしたい一連の.zipファイルへのリンクが含まれています。私はこれがwgetとcurlによって実行できることを知っています。それはどのように行われますか？

83 curl download wget

5

wgetを使用して確認できますが、ダウンロードできません

wgetを使用して404をチェックし、実際にリソースをダウンロードしないことはできますか？もしそうなら、どのように？ありがとう

83 wget

4

WGETはタイムアウトしますか？

次のコマンドを使用して、Wgetを使用してcron経由でPHPスクリプトを実行しています。 wget -O - -q -t 1 http://www.example.com/cron/run スクリプトの処理には、最大5〜6分かかります。WGetはそれを待って、必要なすべての時間を与えますか、それともタイムアウトしますか？

83 linux cron wget

9

wgetプログレスバーのみを表示するにはどうすればよいですか？

例えば： wget http://somesite.com/TheFile.jpeg downloading: TheFile.tar.gz ... --09:30:42-- http://somesite.com/TheFile.jpeg => `/home/me/Downloads/TheFile.jpeg' Resolving somesite.co... xxx.xxx.xxx.xxx. Connecting to somesite.co|xxx.xxx.xxx.xxx|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 1,614,820 (1.5M) [image/jpeg] 25% [======> ] 614,424 173.62K/s ETA 00:14 どうすればこのように見せることができますか downloading: TheFile.jpeg ... 25% [======> ] 614,424 173.62K/s ETA 00:14 私はcurlがそれを行うことができることを知っています、しかし私はその仕事をするためにwgetを取得する必要があります。

81 linux bash wget sh

タグ付けされた質問 「wget」

タグ付けされた質問「wget」