Webサイトをスクレイピングする無料のOS Xユーティリティ?


11

Webサイトのすべてのページとサブページをスクレイピングしたい(スクレイプとは、すべてのオンラインコンテンツをローカルのHTMLファイルに保存することを意味します)。

すべてのページをクロールするのに最適なユーティリティは何ですか?理想的には、スクレイプする深さの層数を指定したいと思います。

回答:


19

次の2つのオプションがあります。

次のwgetようなコマンドラインユーティリティを使用できます。

wget -rl 10

10を再帰するレベルの数に置き換えます。

または、SiteSuckerを使用できます。Webサイトを再帰的にダウンロードするGUIアプリケーション。また、SiteSuckerを使用して再帰をどこまで下げるかを指定することもできます。


1
SiteSuckerは素晴らしいです。
ネオニー

1

DeepVacuum

wgetのGUI、15ドル。

ココ

(自由)


Deepvacuumは私がダイアー・ストレイツの考えさせる:「何のためのお金」:D
Pitto
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.