タグ付けされた質問 「wget」

GNU Wget(または単にwget)は、HTTP、HTTPS、およびFTPを使用してインターネットからコンテンツをダウンロードするためのコマンドラインベースのプログラムです。


8
リストからファイルをダウンロードする
wgetまたはその他の自動方法を使用して(テキストファイルにリストされている)ファイルをダウンロードするにはどうすればよいですか? サンプルファイルリスト: www.example.com/1.pdf www.example.com/2.pdf www.example.com/3.pdf
130 wget 

3
wgetに実際のファイル名を使用させる
wgetスクリプトで使用してGoogleドキュメントから一部のファイルをダウンロードする場合、ファイルの名前は保持されません。例えば: wget 'http://spreadsheets.google.com/pub?key=pyj6tScZqmEfbZyl0qjbiRQ&output=xls' ファイルをのpub?key=pyj6tScZqmEfbZyl0qjbiRQ代わりにとして保存しますindicatorhivestimatedprevalence15-49.xls。これは、ブラウザでリンクをクリックすると表示されます。この「ブラウザのような」動作を強制する方法はありますwgetか?
50 wget 

9
ログインしているサイトからwget / curlを使用してダウンロードするにはどうすればよいですか?
ログインするとウィキペディアの一部が異なって表示されます。ユーザーページをwgetして、ログインしているように見せたいと思います。 このようなユーザーページを取得する方法はありますか http://en.wikipedia.org/wiki/User:A これはログインページです。 http://en.wikipedia.org/w/index.php?title=Special:UserLogin&returnto=Login&campaign=ACP3
46 bash  wget 

2
wgetを高速化またはマルチスレッド化する方法は?
コンピューターハードウェア(cpu +マザーボード+グラフィックカード+メモリ+ハードディスク)をアップグレードしたばかりなので、新しいOSをインストールする必要があります。コマンドを使用してダウンロードしようとしましdebian-6.0.6-amd64-netinst.isoたwgetが、速度が遅いため耐えられませんでした。4Kb/s ~ 17 Kb/s、実行中のカメのように遅くなり、Chromeを使用している場合はさらに遅くなります。 私はwgetのヘルプ情報を読みましたが、もっと速くできるオプションはないようです。 とにかくwgetを高速化する方法はありますか?または、マルチスレッドでダウンロードすることは可能ですか? PS:私の帯域幅は4Mです。私はこのコマンドを使用します: wget -c url http://hammurabi.acc.umu.se/debian-cd/6.0.6/amd64/iso-cd/debian-6.0.6-amd64-netinst.iso


4
ブラウザとまったく同じWebページhtmlをダウンロードするためにWGETを取得する方法
Webブラウザー(IEまたはChrome)を使用して、Ctl-SでWebページ(.html)を保存し、テキストエディターで検査して、表形式のデータを表示できます。これらの数字の1つを抽出したいのですが、多くの多くのWebページでは、手動で行うには多すぎます。そこで、WGETを使用してこれらのWebページを次々に取得し、別のプログラムを作成して.htmlを解析し、必要な数を取得したいと思います。ただし、ブラウザと同じURLを使用しているときにWGETによって保存された.htmlファイルには、データテーブルが含まれていません。何故なの?サーバーが、WebブラウザからではなくWGETからのリクエストを検出し、データテーブルのないスケルトンWebページを提供するかのようです。WGETでまったく同じWebページを取得するにはどうすればよいですか?- THX! 詳細: 私はフェッチしようとしているURLの例は次のとおりです。 http://performance.morningstar.com/fund/performance-return.action?t=ICENX®ion=usa&culture=en-US 文字列ICENXは、投資信託のティッカーシンボルであるところを、さまざまなティッカーシンボルのいずれかに変更します。これにより、ブラウザーで表示したときにデータのテーブルがダウンロードされますが、WGETでフェッチした場合、データテーブルは失われます。
34 wget 

6
コマンドラインでSSLフィンガープリントを確認する方法は?(wget、curl、…)
以下のような、コマンドラインのウェブサイトのダウンローダを使用してwget、curlスクリプトで...または任意の他の1 ... WebサイトのSHA-1およびSHA-256証明書を持っています。セキュリティ上の懸念のため(1)(2)、パブリックSSL認証局システムを使用したくありません。指紋はハードコーディングする必要があります。 アプリケーションのようなwgetはSSLフィンガープリントをチェックできますか? wgetにはそのような機能はありません。(3) を使用するwget --ca-certificateかcurl --cacert、独自のローカル認証局を実行する必要がありますが、これは防止したいと思います。これは非常に複雑になるためです。また、それは非常に難しく、誰もそれをやったことがありません。(4) のようなツールはありません download --tlsv1 --serial-number xx:yy:zz --fingerprint xxyyzz https://site.comか? もちろん、ソリューションはTOCTOUに対して脆弱であってはなりません。(5)MITMは、opensslクライアントリクエストの有効なフィンガープリントを返し、次のwgetリクエストを改ざんする可能性があります。
32 security  ssl  wget  curl 

2
完全なページをダウンロードせずにHTTPステータスを判断する方法は?
Ubuntuを使用しているWebサイトのHTTPステータスを知りたい。私はそのためにコマンドを使用curlしwgetました。しかし問題は、これらのコマンドが完全なWebサイトページをダウンロードし、ヘッダーを検索して画面に表示することです。例えば: $ curl -I trafficinviter.com HTTP/1.1 200 OK Date: Mon, 02 Jan 2017 14:13:14 GMT Server: Apache X-Pingback: http://trafficinviter.com/xmlrpc.php Link: <http://trafficinviter.com/>; rel=shortlink Set-Cookie: wpfront-notification-bar-landingpage=1 Content-Type: text/html; charset=UTF-8 同じことが、Wgetページ全体がダウンロードされ、帯域幅を不必要に消費しているコマンドでも発生します。 私が探しているのは、帯域幅の消費を節約できるように、実際にページをダウンロードせずにHTTPステータスコードを取得する方法です。curlを使用してみましたが、ステータスコードを取得するために完全なページをダウンロードするのか、システムにヘッダーのみをダウンロードするのかはわかりません。

1
gzip:stdin:gzip形式ではありません
実行すると: tar -zxvf john-1.7.0.2.tar.gz 私はこれを得る: gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting now 展開が開始されます。 一部の人々は私に使用しないように言ったzが、私は同じエラーを受け取ります。 この方法でダウンロードしたファイルです。 wget http://openwall.com/john/f/john-1.7.0.2.tar.gz

3
ダウンロード可能なすべてのコンテンツを含むwget(またはその他)を使用してWebサイト全体をダウンロードする
彼らがシャットダウンした場合に備えて、私はwinampのウェブサイトをダウンロードしようとしています。文字通りすべてをダウンロードする必要があります。 私は一度wget試しましたが、ウェブサイト自体をダウンロードできましたが、そこからファイルをダウンロードしようとすると、拡張子や名前のないファイルが表示されます。どうすれば修正できますか?
23 downloads  wget 


1
複数のプログレスバーを持つwget GUIを作成するにはどうすればよいですか?
を使用して複数のアイテム(同時に、コマンドごとに1つのアイテム)をダウンロードする独自のスクリプトを作成していますwgetが、プログレスバーが必要です。現在zenity --progress、進行状況バーに利用していますが、問題はダウンロード時に複数の進行状況バーが表示されることです。 私が達成したいのは、Nautilusのファイル転送ダイアログに似たものです。 誰がこれを達成するプログラムまたは言語に関して正しい方向に私を指すことができますか? 注: 私はシェルスクリプトの基本的な知識しか持っていません。
21 wget  zenity 

3
現在実行中のcrontabタスクを表示/停止するにはどうすればよいですか?
進行中のcrontabタスクを表示するにはどうすればよいですか? 進行中のcrontabタスクを手動で停止するにはどうすればよいですか? 現在実行中のcronプロセスを確認することに関する[この]質問はありますか? はい プロセスを手動で強制終了する方法の1つは、pkillを使用することです 私はpkill / killallについて考えていましたが、crontabファイルの私のコマンドのいくつかはそれぞれです!つまり、コマンドが終了すると、次のコマンドが開始されます!例えば: sudo crontab -e 00 10 * * * /usr/bin/wget LINK ; shutdown -h now だから、私が殺すwgetと、コンピュータの電源が切れます!!! -> cronタスクの一部ではなく、完全に終了したい! 次のpkill問題:スクリプトはどうですか?(いくつかのbashスクリプトをにインポートしましたcrontab -e)->sudo pkill ???
20 cron  wget 

1
wgetダウンロードを再開するにはどうすればよいですか?
wgetアプリケーションを使用します。1つのファイルのダウンロードが停止しました。ダウンロードを停止してダウンロードを再開するにはどうすればよいですか? ここにログがあります wget $ tail -f wget-log 287350K .......... .......... .......... .......... .......... 39% 104K 4h46m 287400K .......... .......... .......... .......... .......... 39% 101K 4h46m 287450K .......... .......... .......... .......... .......... 39% 106K 4h46m 287500K .......... .......... .......... .......... .......... 39% 102K 4h46m 287550K .......... .......... .......... .......... .......... 39% …

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.