wgetがXサイズより大きいファイルをダウンロードしないようにする


11

さて、私はあきらめます。2 MBを超えるファイルを必要としないなど、ダウンロードするファイルのサイズを制限するにはどうすればよいですか?

回答:


6

私が知ってwgetいる唯一の制限オプションは、-Qクォータの切り替えです。ただし、個別にではなく、ダウンロードしたすべてのファイルを組み合わせた制限の後で停止するため、これは希望どおりではありません。manページで-Q説明されているように、スイッチを使用して各リンクを個別にパイプで接続しても機能しません。

使用している環境はわかりませんが、クローラーはmax-length-bytesのファイルサイズ制限をサポートしており、Javaプラットフォームで実行されます。

ユーザーマニュアルから:

  • 最大長バイト

ドキュメントごとにダウンロードする最大バイト数。この制限に達すると、ファイルを切り捨てます。

デフォルトでは、この値は非常に大きな値(エクサバイトの範囲)に設定されており、実際には決して到達しません。


うーん。はい。それは私が見つけた多くのことを繰り返しましたが、とにかく良い答えです。ただし、Heritrixがファイルをスキップする代わりにファイルを切り捨てたことを知りませんでした。
ナサニエル

3

その程度「が2メガバイト最大のダウンロード」ではなく「最大2メガバイトでダウンロードファイルには、」あなただけのディスクに保存された出力を制限することができます。

wget -O - $url |head -c 1024(オプションで> $SaveAsFile)->最初のKBを保存し、残りは切り捨てられます。

(「OK:$ Message」を表示するのに十分、リモートからの大量のエラーメッセージで私の/ tmpを殺さない;-))


1

これはサードパーティのパッチの助けを借りて可能です:http : //yurichev.com/wget.html


この投稿を確認してください。
James Mertz 2013

@KronoS答えを拡張する必要があると思われる場合は、「編集」ボタンがすぐそこにあります。リンクされたページの文#1が新しいオプションを説明していることを考えると、個人的には
現状のままでいいよう
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.