タグ付けされた質問 「wget」

このようなhttp://www.apache.org/dist/httpd/binaries/のようなファイルサーバーからファイルのリストをダウンロードするにはどうすればよいですか？ 私はwgetを使用できると思いますが、すべてのリンクとhtmlファイルも取得しようとします。これを達成するためのより良いツールはありますか？

10 download  apache-http-server  wget 

wgetを使用して次のPOSTリクエストをサーバーに送信します。 email=abc@abc.com&file1=@FILE_HERE&file2=@FILE_HERE 上記のリクエストで、そこと呼ばれる3つのPOSTパラメータがありemail、file1そしてfile2どこemailユーザーの電子メールが含まれているとfile1、file2ファイルが含まれています。 どうすれば送信できwgetますか？使いたくないcurl。

10 linux  bash  http  wget 

たとえばwww.example.com、でブログをミラーリングしようとしていwgetます。 私は次のオプションでwgetを使用しています（シェル変数は正しく置き換えられます）。 wget -m -p -H -k -E -np \ -w 1 \ --random-wait \ --restrict-file-names=windows \ -P $folder \ -Q${quota}m \ -t 3 \ --referer=$url \ -U 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.6) Gecko/20070802 SeaMonkey/1.1.4' \ -e robots=off \ -D $domains -- $url ブログには、他のドメインにある画像が含まれています。 -pオプション（リンクされたページアセットのダウンロード）を指定したにもかかわらず、オプションで各ドメインを明示的に指定しない限り、これらの画像はダウンロードされません-D。 -Dオプションを省略した場合、wgetは外部のすべてのリンクをたどりwww.example.com、インターネット全体をダウンロードします。 各ドメインを明示的に指定しなくても、同じドメインにあるかどうかに関係なく、wget下のすべてのリンクをたどってwww.example.com各ページの必要なアセットをダウンロードすることは可能ですか？

9 wget  mirroring 

私がしたいことは、GitHubからプライベートリポジトリアーカイブをダウンロードし、それを抽出し、アーカイブファイルを削除して、ダウンロードしたプロジェクト内のディレクトリをコピーすることです。 使用しようとしましたwgetが、自分を認証できません。 wget --header='Authorization: token MY_TOKEN_CREATED_ON_GITHUB' https://github.com/MY_USER/MY_REPO/archive/master.tar.gz -O - | tar xz 私も試しましたcURL： curl -i -H 'Authorization: token MY_TOKEN_CREATED_ON_GITHUB' https://github.com/MY_USER/MY_REPO/archive/master.tar.gz > file.tar.gz | tar xz ここで承認は通過しますが、ファイルを抽出できません。 どうやってするか？

9 download  wget  curl  github  headers 

wgetウェブサイトをダウンロードするプロセスの実行中に誤ってターミナルを閉じてしまいました。wgetプロセスを開始してから2日が経過しているため、プロセスのステータスがわかりません。 昨日は交通量が多く、今日は交通量が少ない。wgetプロセスが終了したように見えますが、topでは、まだwgetが実行中であることが示されています。これは紛らわしいです。 19133 root 15 0 751m 746m 1416 S 1.0 37.0 48:18.77 wget wgetプロセスを再開してステータスを確認するにはどうすればよいですか？

9 wget 

「一部のページが読み込まれない」ため、インターネット接続で友達を助けたところ、特定のブログの画像投稿の画像がブラウザーに読み込まれなかったことが問題であることに気付きました。次の理由により、私は奇妙なことに気づきました。 投稿の一部である画像のみが読み込まれません。ユーザーのアバター、バナー、ヘッダー、さまざまなテーマ、ページ関連の画像が引き続き表示されます。 コンピューター上の任意のブラウザーで発生します（FirefoxとChrome / iumでテスト済み）。 wget画像の直接リンクでの使用は機能します。 これはすべてのTumblrページに適用されるわけではありません。ほとんどは適切に読み込まれますが、画像を読み込まない投稿のあるページのリストを作成すると、それらがほとんど同じユーザーグループからのものであることが示されます。 問題は、特定のブログの画像投稿がブラウザーに読み込まれない場合、同じ投稿を含む他のブログ（影響を受けていないかどうかにかかわらず）もブラウザーに画像を読み込まないという意味で、ブログ固有の問題のようです。逆に、影響を受けるブログが影響を受けていないブログのブログである場合、画像は正常に読み込まれます。 画像は、ユーザーが作成したTumblr投稿からのもので、ユーザーが投稿する画像をアップロードし、Tumblrによってホストされます。たとえば（この例は影響を受けるブログの1つではありません）、この画像投稿（ランダムに選択）では、これは投稿内の画像への直接リンクになります。画像投稿は、ユーザーが投稿用にアップロードしたもののサイズに近い、投稿で使用される画像の（通常）より大きなバージョンを使用して、Tumblr内の別のページへのリンクを自動的に作成します。 これが発生する理由は何でしょうか？私を本当に引き付ける部分は、機能しているという事実なwgetので、私はそれがネットワーク接続の問題ではないと推測できると思います。 更新： ここでは、ブラウザ上でのロードに失敗しましたポストの例があります。メインブログは正しくロード他の画像投稿を持っています。これは投稿内の画像への直接リンクであり、ここに大きなバージョンのリンクがあります（どちらもここに読み込まないでください）。wget両方で機能しますが、Firefoxとの直接リンクに移動すると、次のエラーが表示されます。 This XML file does not appear to have any style information associated with it. The document tree is shown below. <Error> <Code>AccessDenied</Code> <Message>Access Denied</Message> <RequestId>A626307DF577B411</RequestId> <HostId>J9GxX1HY9vX3ElWjYf7M48ByvKXLRIwRBJ2al2voS3J/C+WhILWHyd3crFhhNtkXuvG0zaxBTxw=</HostId> </Error> RequestIDそしてHostId毎回変わります。私の友人と私はフィリピンに住んでいます。 アップデート[2014/03/08] さらにテストを行い、Tumblrサポートのメールに返信したところ、一部の状況でwget動作を停止しました（直接リンクで403エラーが発生）。 アップデート[2014/03/09] HTTPS-EverywhereのTumblrルールをオフにすると、問題が解決する場合があります。 注意： ＃6の例では、両方の直接リンクが同じ画像を指しています。ただし、通常、画像投稿で使用されるもの（ズーム​​可能な画像ページと比較して）は、ページのテーマに合うように画像の小さいバージョンを使用します。この例では大きな画面用に作成されたテーマを使用しているため、小さなバージョンは必要ありません。

8 google-chrome  firefox  wget  chromium 

新聞サイトにアクセスして、電子ペーパーのコピー（PDF形式）をダウンロードしたい。このサイトでは、自分のメールアドレスとパスワードを使用してログインする必要があり、それらのPDF URLにアクセスできます。 Wgetで「セッションの設定」に問題があります。ブラウザからサイトにログインすると、2つのCookie値が設定されます。 UserID=abc@gmail.com Password=12345 私は試した： wget --post-data "UserID=abc@gmail.com&Password=12345" http://epaper.abc.com/login.aspx ただし、ログインページをダウンロードしてローカルに保存しただけです。 ログインページのFORMには2つのフィールドがあります。 txtUserID txtPassword そして、このようなラジオボタン： <input id="rbtnManchester" type="radio" checked="checked" name="txtpub" value="44"> 別のボタン： <input id="rbtnLondon" type="radio" name="txtpub" value="64"> これをlogin.aspxページに投稿すると、同じ出力が得られます wget --post-data "txtUserID=abc@gmail.com&txtPassword=12345&txtpub=44" http://epaper.abc.com/login.aspx 私が行った場合： --save-cookies abc_cookies.txt デフォルトのコンテンツ以外は何もないようです。 最後に、私も--debug同じようにすると、それは言う： ... Set-Cookie: ASP.NET_SessionId=05kphcn4hjmblq45qgnjoe41; path=/; HttpOnly ... Stored cookie epaper.abc.com -1 (ANY) / <session> …

8 pdf  wget 

通常、wgetは転送時間を秒単位で示します。時間をミリ秒単位で表示する方法はありますか？

8 bash  shell  time  wget  transfer 

デュアルコアと4GB RAMを搭載したWindows XPでCygwinを使用してスクリプトを実行する cat url_list.txt | xargs -P50 wget -i 4GBのURLをダウンロードしてダウンロードしようとしています（約4300万） 最初の1時間は問題なく動作しますが、URLリスト全体で2％しかありませんが、Bashシェルとダウンロードは停止します。 何が間違っているのかについてのアイデアはありますか？ これが1時間後に停止する理由をデバッグする最良の方法は何ですか？

8 wget  url  xargs  cat 

単一のファイルをアップロードすることができます wput： wput file ftp://username:passwd@ipaddress/file 複数アップロードする方法はありますか？たぶん何かのような： wput {file1,file2} ftp://username:passwd@ipaddress/{file1,file2} 注意 ：私は解決策があることを知っています ftp、 curl、 その他。のためのものがあるかどうか私は思っていました wput。

6 command-line  ftp  wget  command-line-tool 

私はwgetを使うのが初めてなので、これが愚かな質問ではないことを願っています。 ファイルへのリンクにちなんで名付けられたローカルディレクトリにファイルを保存するにはどうすればよいですか？ ダウンロードにリダイレクトが含まれている場合はうまくいきません。 たとえば、私がからファイルをダウンロードしているとします。 www.abc.com/news/xyz.jif、私はローカルコピーを以下のディレクトリに保存するようにwgetを取得できます。 www.abc.com サブディレクトリあり news それからファイル xyz.jif。 しかしファイルが xyz.jif に移動しました www.qwerty.com/old/xyz.jif 検索がそこにリダイレクトされた、ファイルはまだ下に保存されている www.abc.com...等 私が言ったように、私はこれに慣れていないので、私は問題を正しく説明したことを願っています。 これが（wgetを使った）簡単な実例です。 wget --force-directories www.smugmug.com/photos/1235566-S.jpg c：\ www.smugmug.com/photos/1235566-S.jpgに保存されています。 間違っている 。に保存したはずです c:\suz.smugmug.com/photos/1235566-S.jpgリダイレクト先

4 wget  redirection 

自分のユーザー名とパスワードでしかアクセスできないフォーラムをダウンロードしたいです。 私は以下を試しました： C:\wget.exe wget -k -m -E -p -np -R viewtopic.php*p=*,memberlist.php*,faq.php*,posting.php*,search.php*,ucp.php*,viewonline.php*,*sid*,*view=print*,*start=0* -o log.txt http://www.myforum1234.com/forum/categories/discussions だから、これは私が私のCMDに入力するコマンドです。私はwget.exeをクリックすると黒いウィンドウが表示されますが、非常に速く消えるので。しかし、これも正しい方法だと思います（私はWindows XPを使用しています）。 私の問題はそれがログインできなかったので結果がwgetがフォーラムをダウンロードできなかったことを示すことです。そのため、ログインページが表示（ダウンロード）されますが、それ以上はありません。私がコマンドを実行したとき、私はログインしていました。 私はwgetのプロではありません、それで私の命令が正しいかどうかわからないのですか？私はこれを他の記事からコピーしました。シンプルな C:\wget.exe wget http://www.theforumurl.com 動作しませんでした。 編集 ： 私も今やってみました C:\wget.exe wget -k -m -E -p -np -R *start=0* -o log.txt http://www.myforum.com/forum/categories/discussions しかし、ここでも同じ問題があります。 第2版 最初のコメントのリンクについて： 私は今やった C:\wget.exe wget -k -m -E -p -np -R *start=0* …

4 wget 

フォーラムが完全に終了する前に、自分が管理するフォーラムをダウンロードしたい。自分で保存したい有用な情報があり、データを別のWebサーバーにエクスポートしたくないので、ページだけが必要です。私はフォーラムのユーザーであり、管理者ではありません。今、私はこれをグーグルで検索し、wgetで簡単に実行できることがわかりました:( アクティブな）phpbbフォーラム全体をダウンロードするにはどうすればよいですか？ 私が使用した： wget -k -m -E -p -np -R viewtopic.php*p=*,memberlist.php*,faq.php*,posting.php*,search.php*,ucp.php*,viewonline.php*,*sid*,*view=print*,*start=0* -o log.txt http://www.example.com/forum/ 私はこれを試してみましたが、ログインする必要のあるセクションではなく、公開されているセクションのみをダウンロードできます。Firefoxプラグインを使用してcookies.txtを作成し（セッションがフォーラムにログインしている間に）、コマンドに--load-cookiesファイルcookies.txtを追加することでこれを達成しようとしましたが、まだ公開されているセクションのみを取得します。 これを機能させるための提案はありますか？

4 wget  cookies  forum  phpbb 

直接リンクhttp://oocairo.naquadah.org/dist/oocairo-1.4.tar.bz2があります そして、それはうまくクロムWebブラウザーをダウンロードしています。しかし、考え抜くwget $ wget http://oocairo.naquadah.org/dist/oocairo-1.4.tar.bz2 --2012-05-07 18:44:44-- http://oocairo.naquadah.org/dist/oocairo-1.4.tar.bz2 Parsing oocairo.naquadah.org... 2a02:2178:2:4::174, 212.85.154.174 Connecting to oocairo.naquadah.org|2a02:2178:2:4::174|:80... ハングしているだけです。どうして？

3 wget 

私は非常に気まぐれなプロキシ（squid）の背後にいます、そしてそれは特定のユーザーエージェントでなされたhttpリクエストだけが許されるようです。 フェッチするとき google.com Google Chromeから、私は見ることができます HTTP GET WireSharcで。しかしながら、 wget 応答しないデフォルトのDNSサーバーを介して最初にDNSを解決しようとします。 どうやって作れますか wget あるいは git 直接DNSクエリの代わりにプロキシを使用しますか？

2 dns  proxy  wget  squid