「wget」でページを保存しないようにする

wgetプログラムを使用していますが、ダウンロードしているhtmlファイルを保存しないようにします。私はそれが受け取られた後に廃棄されることを望みます。それ、どうやったら出来るの？

wgetの出力を/ dev / null（またはWindowsではNUL）にリダイレクトできます。

wget http://www.example.com -O /dev/null

ファイルはディスクに書き込まれませんが、ダウンロードされます。

ファイルを保存したくない、とあなたはでページをダウンロードするの溶液を受け入れた場合/dev/null、私はあなたが取得し、ページの内容を解析しないようにwgetを使用していると仮定します。

何らかのリモートアクションをトリガーすることが本当に必要な場合は、ページが存在することを確認するなどして、html本文ページをまったくダウンロードしない方が良いと思います。

遊ぶwgetなどだけあなたが本当に必要なもの、すなわちHTTPヘッダー、リクエストのステータスを取得するためのオプション

• ページを確認する必要があると仮定すると（つまり、返されるステータスは200です）、次のことができます。

  wget --no-cache --spider http://your.server.tld/your/page.html
  

• サーバーから返されたヘッダーを解析するには、次の手順を実行します。

  wget --no-cache -S http://your.server.tld/your/page.html
  

プレイするその他のオプションについては、wgetのマニュアルページを参照してください。wgetの代替としても
参照してくださいlynx。

$ wget http://www.somewebsite.com -O foo.html --delete-after

コンソールで結果を印刷する場合も、次のことができます。

wget -qO- http://www.example.com

別の方法はcurl、デフォルトでリモートコンテンツをstdoutファイルに保存する代わりに出力するなどのツールを使用することです。

「-spider」オプションを確認してください。私はそれを使って私のWebサイトが稼働していることを確認し、稼働していない場合はメールを送信します。これは私のcrontabからの典型的なエントリです：

46 */2 * * * if ! wget -q --spider http://www.rochesterflyingclub.com/ >/dev/null 2>&1; then echo "Rochester Flying Club site is down" ; fi

wgetを使用してWebサイトをクロールする必要があり、ディスクチャーンを最小限に抑えたい場合...

* NIXボックスおよび使用のwget場合、ファイルへの書き込みをスキップすることをお勧めします。Ubuntu 10.04ボックスでwget -O /dev/null、最初のダウンロード後にwgetがダウンロードを中止することに気付きました。
またwget -O real-file、wgetがページ上の実際のリンクを忘れる原因にもなりました。index.html各ページに存在することを主張します。そのようなページは常に存在するとは限らず、wgetは以前に見たリンクを記憶しません。

ディスクに書き込むことなくクロールするために、私が思いついた最高のものは次のとおりです

 mkdir /dev/shm/1   
 cd /dev/shm/1
 wget --recursive --relative --no-parent ...

-O fileオプションがないことに注意してください。wgetは、$ PWDディレクトリに書き込みます。この場合、RAMのみのtmpfsファイルシステムです。ここに書き込むと、ディスクチャーンが回避され（スワップスペースに依存）、すべてのリンクが追跡されます。これにより、Webサイト全体が正常にクロールされます。

その後、もちろん、

 rm --recursive --force /dev/shm/1/*

ダウンロード後にファイルを削除する--delete-afterオプションを使用します。

編集：おっと、すでに答えられていることに気づいた。

ヘルプdoc（wget -h）によると、-spiderオプションを使用してダウンロードをスキップできます（バージョン1.14）。

Download:
  -S,  --server-response         print server response.
       --spider                  don't download anything.