Webページのすべての外部リンクを抽出してファイルに保存するにはどうすればよいですか？

Webページのすべての外部リンクを抽出してファイルに保存するにはどうすればよいですか？

すばらしいコマンドラインツールがある場合。

lynxとawkの 2つのツールが必要です。これを試してください。

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' > links.txt

行に番号を付ける必要がある場合は、コマンドnlを使用して、これを試してください。

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' | nl > links.txt

ここにleltonの答えの改善があります。lynxにはいくつかの便利なオプションがあるので、awkはまったく必要ありません。

lynx -listonly -nonumbers -dump http://www.google.com.br

数字が欲しいなら

lynx -listonly -dump http://www.google.com.br

1. 使用美しいスープを該当のWebページを取得するために。
2. awkを使用して、ドメインを参照していないすべてのURLを検索します

画面スクレイピングのテクニックよりも美しいスープをお勧めします。

コマンドラインが強制ではない場合は、すべてのリンクをコピー Firefox拡張機能を使用できます。