新しいファイルのみをダウンロードするようにwgetを適切に設定するにはどうすればよいですか?


39

URLがあるとしましょう、それを呼び出しましょう http://www.some-url.com/folder/

この場所ではディレクトリ一覧が有効になっているため、これを行うことができます。

wget -r -np http://www.some-url.com/folder/

すべてのファイルとサブフォルダーおよびそれらのファイルを含むすべてのコンテンツをダウンロードするには。

ここで、1か月後にこのプロセスを繰り返し、すべてを再度ダウンロードしたくない場合、新しい/変更されたファイルのみを追加する場合はどうすればよいですか?

回答:


53

これを読みましたか?http://www.editcorp.com/Personal/Lars_Appel/wget/wget_5.html

「数日後、リモートファイルが変更されているかどうかをWgetで確認し、変更されている場合はダウンロードしてください。」

wget -N http://www.some-url.com/folder/

これを試して。


5
ただし、取得したファイルにLast-Modifiedヘッダーがない場合、-Nは役に立ちません。
ウニバシル

17
wget -c 

また、ダウンロードに問題があるときに引き起こされる部分的なファイルも継続します

 wget -c -N 

両方を同時に行うようです。


私のバージョンでは1.11.4 Red Hat modified、これらのフラグは互換性がなく、-cは-Nをオーバーライドします。
マットウィリアムソン
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.