BeautifulSoupを使用してURLをスクレイピングしており、次のコードがありました
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup
url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
req = urllib2.Request(url)
response = urllib2.urlopen(req)
the_page = response.read()
soup = BeautifulSoup(the_page)
soup.findAll('td',attrs={'class':'empformbody'})上記のコードではfindAll、タグとそれに関連する情報を取得するために使用できますが、xpathを使用したいと思います。BeautifulSoupでxpathを使用することは可能ですか？可能であれば、より役立つように、コードの例を誰かに教えてもらえますか？
回答:
いいえ、BeautifulSoup自体は、XPath式をサポートしていません。
代替ライブラリー、lxmlのは、ありませんサポートのXPath 1.0を。それは、Soupと同じように壊れたHTMLを解析しようとするBeautifulSoup互換モードを備えています。ただし、デフォルトのlxml HTMLパーサーは、壊れたHTMLを解析するのと同じようにうまく機能します。
ドキュメントをlxmlツリーに解析したら、この.xpath()メソッドを使用して要素を検索できます。
try:
# Python 2
from urllib2 import urlopen
except ImportError:
from urllib.request import urlopen
from lxml import etree
url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = urlopen(url)
htmlparser = etree.HTMLParser()
tree = etree.parse(response, htmlparser)
tree.xpath(xpathselector)追加機能を備えた専用lxml.html()モジュールもあります。
上記の例では、responseオブジェクトをに直接渡したことに注意してください。lxmlストリームから直接パーサーを読み取る方が、最初に大きな文字列に応答を読み取るよりも効率的です。requestsライブラリで同じことを行うには、透過的なトランスポート解凍を有効にstream=Trueした後、response.rawオブジェクトを設定して渡します：
import lxml.html
import requests
url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = requests.get(url, stream=True)
response.raw.decode_content = True
tree = lxml.html.parse(response.raw)CSSセレクターのサポートに興味があるかもしれません。このCSSSelectorクラスはCSSステートメントをXPath式に変換し、td.empformbodyその検索をはるかに簡単にします。
from lxml.cssselect import CSSSelector
td_empformbody = CSSSelector('td.empformbody')
for elem in td_empformbody(tree):
# Do something with these table cells.完全な円を来：BeautifulSoup自体がない非常に完全持つCSSセレクタのサポートを：
for cell in soup.select('table#foobar td.empformbody'):
# Do something with these table cells.Beautiful Soup内にXPathサポートがないことを確認できます。
他の人が言ったように、BeautifulSoupはxpathをサポートしていません。Seleniumの使用を含め、xpathから何かを取得する方法はおそらくいくつかあります。ただし、Python 2または3で機能するソリューションは次のとおりです。
from lxml import html
import requests
page = requests.get('http://econpy.pythonanywhere.com/ex/001.html')
tree = html.fromstring(page.content)
#This will create a list of buyers:
buyers = tree.xpath('//div[@title="buyer-name"]/text()')
#This will create a list of prices
prices = tree.xpath('//span[@class="item-price"]/text()')
print('Buyers: ', buyers)
print('Prices: ', prices)参考にさせていただきました。
urllib2ライブラリの使用をPython 3に変換しましたurllib.requestか？
BeautifulSoupには、現在の要素向けのchildernからfindNextという関数があります。
father.findNext('div',{'class':'class_value'}).findNext('div',{'id':'id_value'}).findAll('a') 上記のコードは、次のxpathを模倣できます。
div[class=class_value]/div[id=id_value]私はそれらのドキュメントを検索しましたが、xpathオプションがないようです。また、あなたが見ることができるように、ここで SO上で同様の質問には、OPは、XPathからBeautifulSoupへの翻訳を求めているので、私の結論は次のようになります-いいえ、XPathの利用可能パースはありません。
lxmlをすべて単純に使用する場合：
tree = lxml.html.fromstring(html)
i_need_element = tree.xpath('//a[@class="shared-components"]/@href')ただし、BeautifulSoup BS4を使用する場合も、すべてシンプルです。
この魔法を試してください：
soup = BeautifulSoup(html, "lxml")
i_need_element = soup.select ('a[class*="shared-components"]')ご覧のとおり、これはサブタグをサポートしていないため、「/ @ href」の部分を削除します
select()CSSセレクター用であり、XPathではありません。ご覧のとおり、これはサブタグをサポートしていません。その時点でそれが真実であったかどうかはわかりませんが、確かに今はそうではありません。
多分あなたはXPathなしで以下を試すことができます
from simplified_scrapy.simplified_doc import SimplifiedDoc
html = '''
<html>
<body>
<div>
<h1>Example Domain</h1>
<p>This domain is for use in illustrative examples in documents. You may use this
domain in literature without prior coordination or asking for permission.</p>
<p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>
'''
# What XPath can do, so can it
doc = SimplifiedDoc(html)
# The result is the same as doc.getElementByTag('body').getElementByTag('div').getElementByTag('h1').text
print (doc.body.div.h1.text)
print (doc.div.h1.text)
print (doc.h1.text) # Shorter paths will be faster
print (doc.div.getChildren())
print (doc.div.getChildren('p'))これはかなり古いスレッドですが、現時点ではBeautifulSoupになかった可能性がある回避策のソリューションがあります。
これが私がしたことの例です。「requests」モジュールを使用してRSSフィードを読み取り、そのテキストコンテンツを「rss_text」という変数に取得します。それで、BeautifulSoupで実行し、xpath / rss / channel / titleを検索して、その内容を取得します。これは、すべての栄光（ワイルドカード、複数のパスなど）が正確にXPathであるとは限りませんが、特定したい基本的なパスだけがある場合、これは機能します。
from bs4 import BeautifulSoup
rss_obj = BeautifulSoup(rss_text, 'xml')
cls.title = rss_obj.rss.channel.title.get_text()