動的ページ用のスクレイプ付きセレン


85

Scrapyを使用して、Webページから製品情報を取得しようとしています。私のスクレイピングされるWebページは次のようになります。

  • 10個の製品を含むproduct_listページから始まります
  • 「次へ」ボタンをクリックすると、次の10個の製品が読み込まれます(URLは2つのページ間で変更されません)
  • LinkExtractorを使用して、各製品リンクを製品ページにたどり、必要なすべての情報を取得します

next-button-ajax-callを複製しようとしましたが、機能しません。そこで、セレンを試してみます。別のスクリプトでSeleniumのWebドライバーを実行できますが、scrapyと統合する方法がわかりません。スクレープスパイダーのセレン部分はどこに置けばいいですか?

私のクモは次のようにかなり標準的です:

class ProductSpider(CrawlSpider):
    name = "product_spider"
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/shanghai']
    rules = [
        Rule(SgmlLinkExtractor(restrict_xpaths='//div[@id="productList"]//dl[@class="t2"]//dt'), callback='parse_product'),
        ]

    def parse_product(self, response):
        self.log("parsing product %s" %response.url, level=INFO)
        hxs = HtmlXPathSelector(response)
        # actual data follows

どんなアイデアでも大歓迎です。ありがとうございました!


回答:


123

それは本当にあなたがどのようにサイトをこすり取る必要があるか、そしてあなたがどのようにそしてどんなデータを取得したいかに依存します。

Scrapy+を使用してeBayのページ付けを追跡する方法の例を次に示しますSelenium

import scrapy
from selenium import webdriver

class ProductSpider(scrapy.Spider):
    name = "product_spider"
    allowed_domains = ['ebay.com']
    start_urls = ['http://www.ebay.com/sch/i.html?_odkw=books&_osacat=0&_trksid=p2045573.m570.l1313.TR0.TRC0.Xpython&_nkw=python&_sacat=0&_from=R40']

    def __init__(self):
        self.driver = webdriver.Firefox()

    def parse(self, response):
        self.driver.get(response.url)

        while True:
            next = self.driver.find_element_by_xpath('//td[@class="pagn-next"]/a')

            try:
                next.click()

                # get the data and write it to scrapy items
            except:
                break

        self.driver.close()

「セレンスパイダー」の例を次に示します。


使用することの代替もありSeleniumではScrapy。場合によっては、ScrapyJSミドルウェアを使用するだけでページの動的な部分を処理できます。実際の使用例:


ご協力いただきありがとうございます。実際、私の最大の問題はnext.click()の後の部分にあります。新しいページを取得するたびに、LinkExtractorを使用してすべての製品のURLを抽出し、コールバックを使用してそれらを解析できますか?
Z. Lin

2
使用する代わりに、すでにスクレイプによって取得された応答を再利用する方法はありself.driver.get(response.url)ますか?
Ethereal 2013

2
@HalcyonAbrahamRamirezこれは、スクレイプスパイダーのセレン部分の単なる例です。セレンが実行された後、通常、self.driver.page_sourceScrapyのセレクターインスタンスに渡されてHTMLを解析し、アイテムインスタンスを形成し、パイプラインなどに渡します。または、セレンCookieを解析してScrapyに渡して、追加のリクエストを行うことができます。しかし、スクレイピーなフレームワークアーキテクチャの力が必要ない場合は、確かに、セレンだけを使用できます。それ自体、要素を見つけるのに非常に強力です。
alecxe 2015年

4
@alecxeええ、私がコンセプトを理解している間。セレンを使用してページソースを抽出し、スクレイピングしたい要素をスクレイピングに渡す部分では、まだ混乱しています。例えば。さらにロードボタンをクリックすると、より多くのアイテムが表示されますが、それらのアイテムのxpathを抽出します。では、これらのxpathをどのようにscrapyに渡すのですか?最初にページをリクエストしたときに表示されたアイテムのみがスクレイプによって解析され、セレンで[さらに読み込む]ボタンをクリックした後のアイテムは解析されないため
Halcyon Abraham Ramirez

2
@HalcyonAbrahamRamirezがそれを取得しました。追加するアイテムがなくなるまで、さらにアイテムをロードします。次に、を取り、driver.page_sourceそれをSelector()..
alecxe 2015年

2

(URLが2つのページ間で変更されない)場合は、dont_filter = Trueを追加する必要があります、scrapy.Request()でをがあります。そうしないと、scrapyは最初のページの処理後にこのURLを重複として検出します。

javascriptでページをレンダリングする必要がある場合は、scrapy-splashを使用する必要があります。また、このScrapyミドルウェアを確認することもできます。 seleniumを使用してjavascriptページを処理できるをするか、ヘッドレスブラウザを起動してそれを行うことができます。

しかし、より効果的で高速な解決策は、ブラウザーを検査して、フォームの送信中または特定のイベントのトリガー中に行われた要求を確認することです。ブラウザが送信するのと同じリクエストをシミュレートしてみてください。リクエストを正しく複製できれば、必要なデータを取得できます。

ここに例があります:

class ScrollScraper(Spider):
    name = "scrollingscraper"

    quote_url = "http://quotes.toscrape.com/api/quotes?page="
    start_urls = [quote_url + "1"]

    def parse(self, response):
        quote_item = QuoteItem()
        print response.body
        data = json.loads(response.body)
        for item in data.get('quotes', []):
            quote_item["author"] = item.get('author', {}).get('name')
            quote_item['quote'] = item.get('text')
            quote_item['tags'] = item.get('tags')
            yield quote_item

        if data['has_next']:
            next_page = data['page'] + 1
            yield Request(self.quote_url + str(next_page))

ページネーションURLがすべてのページで同じでPOSTリクエストを使用する場合、scrapy.Request()の代わりにscrapy.FormRequest()を使用できます。どちらも同じですが、FormRequestは新しい引数を追加します(formdata =コンストラクターに)を。

これは、この投稿からの別のスパイダーの例です:

class SpiderClass(scrapy.Spider):
    # spider name and all
    name = 'ajax'
    page_incr = 1
    start_urls = ['http://www.pcguia.pt/category/reviews/#paginated=1']
    pagination_url = 'http://www.pcguia.pt/wp-content/themes/flavor/functions/ajax.php'

    def parse(self, response):

        sel = Selector(response)

        if self.page_incr > 1:
            json_data = json.loads(response.body)
            sel = Selector(text=json_data.get('content', ''))

        # your code here

        # pagination code starts here
        if sel.xpath('//div[@class="panel-wrapper"]'):
            self.page_incr += 1
            formdata = {
                'sorter': 'recent',
                'location': 'main loop',
                'loop': 'main loop',
                'action': 'sort',
                'view': 'grid',
                'columns': '3',
                'paginated': str(self.page_incr),
                'currentquery[category_name]': 'reviews'
            }
            yield FormRequest(url=self.pagination_url, formdata=formdata, callback=self.parse)
        else:
            return
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.