wgetが突然終了する

サーバーキャッシュを更新するには、定期的にサイトを横断する必要があります。これは、非常に多くの（数千の）ページを持つデータベース駆動型のサイトです。私はwgetを使用して同じサーバー上でローカルにサイトをミラーリングするため、このコマンドを使用します。

wget --mirror localhost

しばらくすると、次のメッセージで突然停止します。

HTTP要求が送信され、応答を待っています...終了しました

常に発生しますが、まったく同じURLでは発生しません。そして、私は別のサーバーでも同じ結果を試してみました。

--debugオプションは有用な情報を提供せず、Apacheのログファイルも提供しません。

この問題の原因は何ですか？メモリ不足などのバッファが疑われます。または、スタックオーバーフローが発生しました。

あるいは、同じことができる他のコマンドラインツールはありますか？

Debian LennyのWget 1.11.4です。

マーティン

サーバーがダウンロードパターンの何らかの分析を実行し、リクエストを破棄している可能性があります。見て-あなたの要求のレートを制限するためのwgetのオプションのいくつかを見てみましょう--limit-rate、--waitと--random-wait。

途中で終了することなく、wgetをサイト全体に移動させる方法は見つかりませんでしたが、httrackを見つけて、完璧に機能します。