grepとcut inスクリプトを使用してHTMLファイルからWebサイトのURLを取得する方法

grepとcutを使用して、HTMLファイルからURLを抽出しようとしています。リンクは次のようになります。

<a href="http://examplewebsite.com/">

他のウェブサイトには.netありますが、.gov直前にカットオフポイントを作ることができると思い>ます。だから私は、grepを使用して、httpの前と.comの後にすべてをカットすることができることを知っていますが、私はしばらくの間それで立ち往生しています。

コメントで述べたように、通常、正規表現を使用してHTMLを解析することはお勧めできませんが、解析しているHTMLが適切に動作している場合は、それを回避できます。

要素のhref属性にあるURLのみを取得<a>するには、複数の段階で実行するのが最も簡単です。コメントから、完全なURLではなく、トップレベルドメインのみが必要なようです。その場合、次のようなものを使用できます。

grep -Eoi '<a [^>]+>' source.html |
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

どこsource.html解析するHTMLコードを含むファイルです。

このコードは、各行の要素のhref属性として発生するすべてのトップレベルURLを出力します<a>。-i最初のgrepコマンドのオプションは<a>、<A>要素と要素の両方で機能することを確認することです。大文字の属性OTOH をキャプチャ-iするために2番目grepに渡すこともできるHREFと思います。このような壊れたHTMLは無視したほうがいいでしょう。:)

の内容を処理するには http://google.com/

wget -qO- http://google.com/ |
grep -Eoi '<a [^>]+>' | 
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

出力

http://www.google.com.au
http://maps.google.com.au
https://play.google.com
http://www.youtube.com
http://news.google.com.au
https://mail.google.com
https://drive.google.com
http://www.google.com.au
http://www.google.com.au
https://accounts.google.com
http://www.google.com.au
https://www.google.com
https://plus.google.com
http://www.google.com.au

オーストラリアのGoogleページにリダイレクトされるため、私の出力は他の例とは少し異なります。

ツールが制限されているかどうかわからない：

ただし、前述のように正規表現は最善の方法ではないかもしれませんが、ここに私がまとめた例を示します。

cat urls.html | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u

• grep -E：egrepと同じです
• grep -o：grepさ​​れたもののみを出力します
• （http | https）：/または
• az：すべて小文字です
• AZ：すべて大文字です
• 。：ドットです
• \ ?:は？
• *：[...]グループを繰り返します
• uniq：重複を削除します

出力：

bob@bob-NE722:~s$  wget -qO- https://stackoverflow.com/ | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u
https://stackauth.com
https://meta.stackoverflow.com
https://cdn.sstatic.net/Img/svg-icons
https://stackoverflow.com
https://www.stackoverflowbusiness.com/talent
https://www.stackoverflowbusiness.com/advertising
https://stackoverflow.com/users/login?ssrc=head
https://stackoverflow.com/users/signup?ssrc=head
https://stackoverflow.com
https://stackoverflow.com/help
https://chat.stackoverflow.com
https://meta.stackoverflow.com
...

\d他の数値タイプをキャッチするために追加することもできます。

grepがPerlの正規表現をサポートしている場合：

grep -Po '(?<=href=")[^"]*(?=")'

• (?<=href=")および(?=")は属性のルックアラウンド式hrefです。これには-Pオプションが必要です。
• -o 一致するテキストを印刷します。

例えば：

$ curl -sL https://www.google.com | grep -Po '(?<=href=")[^"]*(?=")'
/search?
https://www.google.co.in/imghp?hl=en&tab=wi
https://maps.google.co.in/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
https://www.youtube.com/?gl=IN&tab=w1
https://news.google.co.in/nwshp?hl=en&tab=wn
...

いつものように、これらが有効なURIであること、または解析しているHTMLが有効であることの保証はありません。

非正規表現の代替として、pupを使用します。

pup 'a[href] attr{href}' < yourfile.html

aを持つすべての要素を検索しますhref属性属性の値を表示しhrefます。

をインストールするにはpup、Go（プログラミング言語）が必要です。

sudo apt-get install golang
sudo go get github.com/ericchiang/pup

このソリューションの利点は、HTMLが適切にフォーマットされていることに依存しないことです。

ここで解決策を見つけましたで提案されたものよりもはるかに簡単で潜在的に高速なで。httpsファイルをサポートするように少し調整しました。しかし、TD; TRバージョンは...

PS：サイトのURLをファイルへのパスに置き換えることができ、同じように機能します。

lynx -dump -listonly -nonumbers "http://www.goggle.com" > links.txt

lynx -dump -listonly -nonumbers "some-file.html" > links.txt

リンクをファイルに配置する代わりに表示するだけの場合は、代わりにこれを試してください...

lynx -dump -listonly -nonumbers "http://www.google.com"

lynx -dump -listonly -nonumbers "some-file.html"

結果は次のようになります...

http://www.google.ca/imghp?hl=en&tab=wi
http://maps.google.ca/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?gl=CA&tab=w1
http://news.google.ca/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
https://www.google.ca/intl/en/options/
http://www.google.ca/history/optout?hl=en
...
etc.

私のユースケースでは、これはうまくいきました。しかし、最近、人々はライブラリのCDN URIにsrc = "// blah.tld"のようなリンクを追加していることに注意してください。取得したリンクでそれらを見たくありませんでした。

「lynx -dump」はデフォルトで特定のページからすべてのクリック可能なリンクを抽出するため、リンクのhrefや他のソースを確認する必要はありません。したがって、その後に行う必要があると思うのは、grepを使用して「lynx -dump」の結果を解析し、同じ結果のクリーンな未加工バージョンを取得することだけです。

wget -qO- google.com |
tr \" \\n | grep https\*://

...おそらくかなりうまくいくでしょう。書かれているように、それは印刷します：

http://schema.org/WebPage
http://www.google.com/imghp?hl=en&tab=wi
http://maps.google.com/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?tab=w1
http://news.google.com/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
http://www.google.com/intl/en/options/
http://www.google.com/history/optout?hl=en
https://accounts.google.com/ServiceLogin?hl=en&continue=http://www.google.com/
https://www.google.com/culturalinstitute/project/the-holocaust?utm_source=google&utm_medium=hppromo&utm_campaign=auschwitz_q1&utm_content=desktop
https://plus.google.com/116899029375914044550

リンクとそれらのトップレベルドメインからのみ一致させることが重要な場合は、次のことができます。

wget -qO- google.com |
sed '/\n/P;//!s|<a[^>]*\(https*://[^/"]*\)|\n\1\n|;D'

...またはそのようなもの-一部sedのs \nでは、最後の2つnのsのそれぞれにリテラルのewline文字を代入する必要があるかもしれません。

書かれているように、上記のコマンドは次を印刷します

http://www.google.com
http://maps.google.com
https://play.google.com
http://www.youtube.com
http://news.google.com
https://mail.google.com
https://drive.google.com
http://www.google.com
http://www.google.com
http://www.google.com
https://www.google.com
https://plus.google.com

...そして、どちらの場合でも（しかしおそらく後者が最も便利です）|sort -u、最後までフィルターを追加して、リストを取得し、sort重複を削除できます。

最短

grep -r http . --color

echo "<a href="http://examplewebsite.com/">"|sed -r 's:<.*"::g'|sed 's:/">$::g'