Firefoxの再帰ダウンロード( `wget -r`)と同等ですか?


15

ウェブサイトがあり、そのウェブサイト内のすべてのページ/リンクをダウンロードしたい。wget -rこのURLでしたいです。この特定のディレクトリの「外部」へのリンクはないため、インターネット全体のダウンロードについて心配する必要はありません。

結局のところ、私が欲しいページはウェブサイトのパスワードで保護されたセクションの背後にあります。wgetを使用して手動でCookieネゴシエーションを行うこともできますが、ブラウザーから「ログイン」し、firefoxプラグインを使用してすべてを再帰的にダウンロードする方がはるかに簡単です。

これを可能にする拡張機能や何かがありますか?多くの拡張機能は、ページからメディア/画像を取得することに焦点を合わせていますが、すべてのコンテンツ(HTMLなど)に興味があります。

提案?

ありがとう!

編集

DownThemAllはクールな提案のようです。再帰的なダウンロードを実行できますか?同様に、ページ上のすべてのリンクをダウンロードしてから、それらの各ページに含まれるすべてのリンクをダウンロードしますか?基本的に、リンクをたどってディレクトリツリー全体をミラーリングするのですか?-rオプションのようなwget

回答:


7

DownThemAllは再帰的なダウンロードを行いません。現在のページからのリンクのみを取得します。リンクされたURLのHTMLページのみがダウンロードされます。リンクされたページの画像とメディアはダウンロードされません。


6

SpiderZillaはそれを行うことを目的としていますが、少し古い(2006)。
これは、HTTrack Webサイトのコピー機に基づいています。
どのいるバージョンに更新すべてのプラットフォームを。

(特に)プラグイン ' '自体をプラグインできる別の古いアドオンもありますwget

しかし、私もDownThemAllがおそらく良い選択だと感じています。
ミラーリングの対象がわかっている場合は、適切なリンクを選択しても問題はありません。
また、「すべて」チェックボックスをいつでもチェックできます。

したがって、ブラウザに固執する場合は、DownThemAllに対して+1 。
また、スタンドアロンツールが必要な場合は、HTTrackを使用します(wgetは便利ではありません)。

更新:この報奨金の質問であるHTTrackの投票も
ご覧くださいウェブサイト全体をダウンロードするにどうすればよいですか


DTAは、再帰をサポートしていません
ヘイデンThring

4

wget -r許可後に抽出されたブラウザのCookieで使用できます。

Firefoxには、Web開発ツールの[ネットワーク]タブにあるページリクエストのコンテキストメニューの[Copy as cURL]オプション、ホットキーCtrl + Shift + Qがあります(ツールを開いた後にページをリロードする必要がある場合があります): スクリーンショット

curlのヘッダーフラグ-Hをwgetに置き換え--headerます。ブラウザをwgetで続行するには、Cookieを含む必要なヘッダーがすべて揃っています。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.