タグ付けされた質問 「wget」

wgetには--post-fileオプションがあることがわかりますが、マンページには Wgetは現在、POSTデータを送信するためのmultipart / form-dataをサポートしていません。application / x-www-form-urlencodedのみ。だけの1 --post-dataと--post-file指定する必要があります。 multipart / form-dataのファイルをアップロードするための同様の方法はありますか？

25 http  wget  upload 

私は次のコマンドを試しました： $ wget -q --tries=10 --timeout=20 --spider http://google.com （このSO投稿から。bashでインターネット接続を確認したい。） 私は次の出力を取得します： Spider mode enabled. Check if remote file exists. --2015-09-28 09:55:50-- http://google.com/ Connecting to 127.0.0.1:3128... connected. Proxy request sent, awaiting response... 302 Found Location: http://www.google.de/?gfe_rd=cr&ei=k_IIVreaN-yH8Qfe1Yu4CA [following] Spider mode enabled. Check if remote file exists. --2015-09-28 09:55:50-- http://www.google.de/?gfe_rd=cr&ei=k_IIVreaN-yH8Qfe1Yu4CA Connecting to 127.0.0.1:3128... connected. …

21 bash  sudo  wget 

私はWgetを使用していますが、問題に遭遇しました。サイトがあり、そのサイト内にいくつかのフォルダーとサブフォルダーがあります。各フォルダーとサブフォルダー内のすべてのコンテンツをダウンロードする必要があります。Wgetを使用していくつかの方法を試しましたが、完了を確認すると、フォルダーに表示されるのは「インデックス」ファイルだけです。インデックスファイルをクリックすると、ファイルが表示されますが、実際のファイルが必要です。 誰も私が見落としたWgetのコマンドを持っていますか、またはこの情報のすべてを取得するために使用できる別のプログラムがありますか？ サイトの例： www.mysite.com/Pictures/ Pictures DIrには、いくつかのフォルダーがあります。.... www.mysite.com/Pictures/Accounting/ www.mysite.com/Pictures/Managers/North America / California / JoeUser.jpg すべてのファイル、フォルダなどが必要です。

20 wget 

ここからWgetをダウンロードし、wget-latest.tar.gz2009年9月22日付けのという名前のファイルを取得しました。D:ドライブのいずれかのフォルダーに保存し、解凍しました。READ MEファイルを読みましたが、インストール方法に関する情報が見つかりませんでした。Installファイルがなかったためwget.zip、以前に作成したフォルダーに解凍するとインストールされたと想定しました。 ただし、コマンドラインを開いて次のように入力したとき： wget -r -A ".jpg,.gif,.png" http://mywebsite エラーメッセージのみが表示されました。私は現在XPの中国語版を使用しており、中国語を読んでいないので、このメッセージが何を言っているのか理解できませんが、Wgetが正しくインストールされなかったことを意味すると思います。 それでは、WgetをWindows XPに適切にインストールする方法を教えてください。

18 windows-xp  installation  wget 

Macを使用していて、ftpサーバーからダウンロードしたいファイルのリストがあります。接続は少しバグがあるので、接続が切断された場合は再試行して再開する必要があります。 wgetでこれを実行できることは知っていますが、残念ながらMac OS Xにはwgetが付属していません。私はそれをインストールできましたが、それを行うには（何かを見逃していない限り）XCodeとMacPortsを最初にインストールする必要がありますが、これは避けたいと思います。 Curlは入手可能ですが、それがどのように機能するのか、実際に使用する方法はわかりません。テキストファイル（ftp：// user：pass @ server / dir / file1のように、1行に1つのフルパス）にファイルのリストがある場合、curlを使用してこれらすべてのファイルをダウンロードするにはどうすればよいですか？そして、curlめないようにカールすることはできますか？好きなように、無限に再試行し、中断したところからダウンロードを再開しますか？

17 mac  unix  download  wget  curl 

リソースが別のドメイン（ドメインB）にある場合、wgetを使用してサイト全体（ドメインA）をダウンロードするにはどうすればよいですか？ 私はもう試した： wget -r --level=inf -p -k -E --domains=domainA,domainB http://www.domainA

16 linux  download  wget  fetch 

私はwget --mirror --html-extension --convert-linksサイトをミラーリングするために使用していますが、最終的にはの形式で多くのファイル名になりますpost.php?id=#.html。ブラウザでこれらを表示しようとすると、ファイルをロードするときにブラウザがクエリ文字列を無視するため失敗します。?ファイル名の文字を別のものに置き換える方法はありますか？ の答えは--restrict-file-names=windows正しく働きました。flags --convert-linksおよび--adjust-extension/ -E（以前は名前が付けられていましたが--html-extension、これは機能しますが、推奨されません）と組み合わせて、期待どおりに動作するミラーを生成します。 wget --mirror --adjust-extension --convert-links --restrict-file-names=windows http://www.example

15 linux  wget  mirroring 

ウェブサイトがあり、そのウェブサイト内のすべてのページ/リンクをダウンロードしたい。wget -rこのURLでしたいです。この特定のディレクトリの「外部」へのリンクはないため、インターネット全体のダウンロードについて心配する必要はありません。 結局のところ、私が欲しいページはウェブサイトのパスワードで保護されたセクションの背後にあります。wgetを使用して手動でCookieネゴシエーションを行うこともできますが、ブラウザーから「ログイン」し、firefoxプラグインを使用してすべてを再帰的にダウンロードする方がはるかに簡単です。 これを可能にする拡張機能や何かがありますか？多くの拡張機能は、ページからメディア/画像を取得することに焦点を合わせていますが、すべてのコンテンツ（HTMLなど）に興味があります。 提案？ ありがとう！ 編集 DownThemAllはクールな提案のようです。再帰的なダウンロードを実行できますか？同様に、ページ上のすべてのリンクをダウンロードしてから、それらの各ページに含まれるすべてのリンクをダウンロードしますか？基本的に、リンクをたどってディレクトリツリー全体をミラーリングするのですか？-rオプションのようなwget？

15 firefox  browser-addons  download  wget 

このpythonライブラリのtarballを端末から取得したいです。 https://github.com/simplegeo/python-oauth2/downloads しかし、私は単に呼び出すことはできません wget https://github.com/simplegeo/python-oauth2/tarball/master これにより、Webページが取得されるためです。このリソースを端末から取得するにはどうすればよいですか？

15 linux  terminal  download  wget  curl 

wget --load-cookiesCookieを「Netscapeのcookies.txtファイルが元々使用していた形式のテキストファイル」としてロードします。ただし、FirefoxはCookieをSQLiteデータベースに保持します。 Firefox cookies.sqliteファイルから「Netscapeのcookies.txtファイル」を抽出する方法はありますか？

14 firefox  wget  cookies 

基本的に、Wgetを使用してサイト全体をクロールしますが、他のアセット（画像、CSS、JSなど）をダウンロードしないようにする必要があります。HTMLファイルのみが必要です。 Google検索はまったく役に立ちません。 私が試したコマンドは次のとおりです。 wget --limit-rate=200k --no-clobber --convert-links --random-wait -r -E -e robots=off -U "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.102 Safari/537.36" -A html --domain=www.example.com http://www.example.com このサイトは、フラットPHPとCMSのハイブリッドです。だから、HTML "ファイルは、"可能性があり/path/to/page、/path/to/page/、/path/to/page.php、または/path/to/page.html。 私も含めました-R js,cssが、それでもファイルをダウンロードし、それらを拒否します（帯域幅、CPU、およびサーバー負荷の無意味な浪費です！）。

14 wget  web-crawler 

8GBペンドライブから実行しているLinux Mint 15 Cinnamonを使用しています。「Linux Mint 14“ Nadia” KDE」のISOを取得したい。wgetターミナルで使ってみました。入力したとおりです。 wget http://mirror.ufs.ac.za/linuxmint/stable/14/linuxmint-14-kde-dvd-64bit.iso 30％（2時間後）までダウンロードした後、ダウンロードが停止したことに失望しました。wgetクロムブラウザーをオンにしたくないので使用しました。私がそれをダウンロードできるように私を助けてください。前もって感謝します。

14 linux  linux-mint  wget 

コマンドラインからFTPサーバーからいくつかのファイルを取得しようとしています。wgetを使用して、フォルダー全体を一度にダウンロードしています。コマンドは次のとおりです。 wget -m ftp://username:password@ftp.hostname.com:/path/to/folder しかし問題は、パスワードに「@」記号が含まれていることです。したがって、コマンドは wget -m ftp://username:foo@bar@ftp.hostname.com:/.. そのため、wgetはbar@ftp.hostname.comをホストとして再配置しようとしますが、ホストを再配置することはできません。助けてください！

14 ftp  wget 

wget "no such address" -o "test.html"と書くと、まずtest.htmlを作成し、失敗した場合は空のままにします。ただし、-oを使用しない場合、ダウンロードが成功するかどうかを待機し、その後のみファイルを書き込みます。 後者の動作を-oにも適用したいのですが、可能ですか？

14 wget 

Webサイトを再帰的にクロールし、特定の種類の画像のみをダウンロードするようにwgetにどのように指示しますか？ これを使用してサイトをクロールし、Jpeg画像のみをダウンロードしてみました。 wget --no-parent --wait=10 --limit-rate=100K --recursive --accept=jpg,jpeg --no-directories http://somedomain/images/page1.html ただし、page1.htmlにはサブページへの数百のリンクが含まれていますが、サブページには画像への直接リンクがありますが、wgetは "subpage13.htmlを削除する必要があるため削除します"などのメッセージを報告し、直接リンクされているものがないため、画像をダウンロードしません。開始ページから。 これは、-acceptがクロールとコンテンツのダウンロードの両方を指示するために使用されているのに対し、コンテンツのダウンロードを指示するためだけに使用したいためだと思います。wgetにすべてのリンクをクロールさせ、*。jpegなどの特定の拡張子を持つファイルのみをダウンロードさせるにはどうすればよいですか？ 編集：また、一部のページは動的で、CGIスクリプト（img.cgi？fo9s0f989wefw90eなど）を介して生成されます。受け入れリストにcgiを追加しても（例--accept = jpg、jpeg、html、cgi）、これらは常に拒否されます。これを回避する方法はありますか？

13 linux  bash  script  web-crawler  wget