PyCharmを使用してScrapyプロジェクトをデバッグする方法

私はScrapy 0.20とPython 2.7で作業しています。PyCharmには優れたPythonデバッガーがあることがわかりました。Scrapyクモを使ってテストしたい。誰でもそれを行う方法を知っていますか？

私が試したこと

File->Setting->Project structure->Add content root.

しかし、私は他に何をしなければならないのか分かりません

scrapyコマンドを使用すると、内部PyCharmからそれを起動することができることを意味Pythonスクリプトです。

スクレイピーバイナリ（which scrapy）を調べると、これが実際にはpythonスクリプトであることがわかります。

#!/usr/bin/python

from scrapy.cmdline import execute
execute()

つまり、次のようなコマンド scrapy crawl IcecatCrawlerも実行できます。python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl IcecatCrawler

scrapy.cmdlineパッケージを見つけてみてください。私の場合、場所はここにありました：/Library/Python/2.7/site-packages/scrapy/cmdline.py

スクリプトとしてスクリプトを使用して、PyCharm内で実行/デバッグ構成を作成します。スクリプトパラメーターに、scrapyコマンドとスパイダーを入力します。この場合crawl IcecatCrawler。

このような：

クロールコードの任意の場所にブレークポイントを置くと、動作します™。

これを行うだけです。

プロジェクトのクローラーフォルダーにPythonファイルを作成します。main.pyを使用しました。

• 事業
  • 昇降補助具
    • 昇降補助具
      • クモ
      • ...
    • main.py
    • scrapy.cfg

main.py内にこのコードを下に配置します。

from scrapy import cmdline    
cmdline.execute("scrapy crawl spider".split())

また、main.pyを実行するには、「実行構成」を作成する必要があります。

これを行うと、コードにブレークポイントを設定すると、そこで停止します。

2018.1以降、これは非常に簡単になりました。Module nameプロジェクトので選択できるようになりましたRun/Debug Configuration。これをscrapy.cmdlineとに設定してWorking directory、スクレイピープロジェクトのルートディレクトリ（その中にあるプロジェクトsettings.py）に設定します。

そのようです：

これで、ブレークポイントを追加してコードをデバッグできます。

Python 3.5.0を使用してvirtualenvでスクレイピーを実行し、「スクリプト」パラメーターを設定し/path_to_project_env/env/bin/scrapyて問題を解決しました。

intellijのアイデアも機能します。

main.pyを作成します。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#coding=utf-8
import sys
from scrapy import cmdline
def main(name):
    if name:
        cmdline.execute(name.split())



if __name__ == '__main__':
    print('[*] beginning main thread')
    name = "scrapy crawl stack"
    #name = "scrapy crawl spa"
    main(name)
    print('[*] main thread exited')
    print('main stop====================================================')

以下に示します。

受け入れられた回答に少し追加するには、ほぼ1時間後に、ドロップダウンリスト（アイコンツールバーの中央近く）から正しい実行構成を選択し、それを機能させるために[デバッグ]ボタンをクリックする必要があることがわかりました。お役に立てれば！

PyCharmも使用していますが、組み込みのデバッグ機能は使用していません。

デバッグにはを使用していipdbます。import ipdb; ipdb.set_trace()ブレークポイントを発生させたい行に挿入するキーボードショートカットを設定しました。

次にn、入力して次のステートメントを実行sし、関数をステップインし、オブジェクト名を入力してその値を確認し、実行環境を変更し、入力cして実行を続行します...

これは非常に柔軟で、実行環境を制御しないPyCharm以外の環境で機能します。

仮想環境pip install ipdbを入力してimport ipdb; ipdb.set_trace()、実行を一時停止する行に配置します。

ドキュメントによるとhttps://doc.scrapy.org/en/latest/topics/practices.html

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider(scrapy.Spider):
    # Your spider definition
    ...

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})

process.crawl(MySpider)
process.start() # the script will block here until the crawling is finished

私はこの簡単なスクリプトを使用します：

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings())

process.crawl('your_spider_name')
process.start()

回答の@Rodrigoのバージョンを拡張して、このスクリプトを追加しました。文字列を変更する代わりに、構成からスパイダー名を設定できます。

import sys
from scrapy import cmdline

cmdline.execute(f"scrapy crawl {sys.argv[1]}".split())