Pythonのツイストのクリーンで軽量な代替手段ですか？[閉まっている]

ずっと前に、同時要求を同時に発生させるためにマルチスレッド化したWebスパイダーを作成しました。それは私のPythonの青年期で、GILとそれがマルチスレッドコードに対して作成する関連の問題を知る前の数日間でした（つまり、ほとんどの場合、シリアル化されたものです！）...

このコードを作り直して、コードをより堅牢にし、パフォーマンスを向上させたいと思います。これを行うには、基本的に2つの方法があります。2.6以降の新しいマルチプロセッシングモジュールを使用する方法と、何らかのリアクター/イベントベースのモデルを使用する方法です。後者のほうがはるかに簡単で、エラーが発生しにくいので、後者を使用したいと思います。

質問は、どのフレームワークが私のニーズに最も適しているかに関するものです。以下は、私がこれまでに知っているオプションのリストです。

• Twisted：Python reactorフレームワークのおじいさん：複雑で少し膨らんでいるように見えます。小さなタスクのための急な学習曲線。
• Eventlet：で、みんなからリンデン・ラボ。これらの種類のタスクを対象としたGreenletベースのフレームワーク。私はコードを見てみましたが、あまりきれいではありません。pep8に準拠せず、印刷物が散在しています（なぜフレームワークでこれを行うのですか？）、APIは少し矛盾しています。
• PyEv：未熟です。libeventに基づいているため、現時点ではだれも使用しているようには見えないため、確実なバックエンドがあります。
• asyncore：stdlibから：非常に低レベルで、何かを実現するためだけに多くのレッグワークが必要なようです。
• tornado：これは動的Webサイトをサーバーするように設計されたサーバー指向の製品ですが、非同期HTTPクライアントと単純なioloopを備えています。それは仕事を成し遂げることができるように見えますが、それが意図したものではありません。[編集：残念ながらWindowsでは動作しません。これは、私にとってそれを数えます-私がこの不完全なプラットフォームをサポートするための要件です]

見逃したことはありますか？確かに、簡素化された非同期ネットワーキングライブラリのスイートスポットに合うライブラリがそこにあるはずです！

[編集：このページへのポインタを提供してくれたintgrに感謝します。一番下までスクロールすると、このタスクに何らかの形で取り組むことを目的としたプロジェクトの非常に優れたリストが表示されます。実際、Twistedの誕生以来、物事は実際に進んでいるようです。人々は、従来のリアクタ/コールバック指向のソリューションではなく、コルーチンベースのソリューションを好むようです。このアプローチの利点は、より明確で直接的なコードです。特に、boost.asioを使用している場合は、確かに過去に見つかりました。C ++では、コールバックベースのコードは、追跡が困難で、訓練されていない目からは比較的わかりにくい設計につながる可能性があります。コルーチンを使用すると、少なくとも少し同期が取れているように見えるコードを書くことができます。私の今の仕事は、これらの多くのライブラリのどれが私が見た目で気に入っているかを調べて試してみることです！私が今尋ねたのはうれしい...]

[編集：おそらく、この質問をフォローしたりつまずいたり、このトピックについて何らかの意味で気にかけている人にとって興味深いものです。この仕事に利用できるツールの現在の状態について、非常にすばらしい記事を見つけました]

Stackless PythonマイクロスレッドまたはGreenletのいずれかを使用して軽量スレッドを実行する同時実行 Pythonモジュールが気に入りました。すべてのブロッキングネットワークI / Oは単一のlibeventループを介して透過的に非同期になるため、実際の非同期サーバーとほぼ同じくらい効率的です。

この点でEventletに似ていると思います。

欠点は、そのAPIがPythonのsockets/ threadingモジュールとはかなり異なることです。アプリケーションのかなりの部分を書き直す必要がある（または互換性シム層を書く）

編集：同様のcogenもあるようですが、Greenletsの代わりに、コルーチンにPython 2.5の拡張ジェネレーターを使用しています。これにより、並行処理や他の代替手段よりも移植性が高くなります。ネットワークI / Oは、epoll / kqueue / iocpを使用して直接行われます。

Twistedは複雑ですが、あなたはその通りです。ツイストは膨らんでいません。

ここを見てみると、http：//twistedmatrix.com/trac/browser/trunk/twistedには、インターネットの多くのプロトコルの体系化された包括的で非常に十分にテストされたスイートと、ヘルパーコードが記述されています。非常に洗練されたネットワークアプリケーションを展開します。膨張と包括性を混同しないでください。

Twistedのドキュメントが一見すると最もユーザーフレンドリーではないことはよく知られていますが、これは不幸な人たちを排除するものだと思います。しかし、時間に入れれば、ツイステッドは素晴らしいです（私見）。私はそうしました、そしてそれはそれの価値があるとわかりました、そして私は同じことを試みることを他の人に勧めます。

geventはクリーンアップされたイベントレットです。

APIに関しては、標準ライブラリ（特に、スレッド化モジュールおよびマルチプロセッシングモジュール）と同じ規則に従っており、意味があります。キューやイベントなど、使い慣れたものがあります。

それはリアクター実装としてlibevent（update： libev 1.0以降）のみをサポートしますが、他のほとんどのライブラリのようなスレッドプールを使用するのではなく、libevent-httpに基づく高速WSGIサーバーを備え、libevent-dnを介したDNSクエリを解決します行う。（更新： 1.0以降、非同期DNSクエリを作成するためにc-aresが使用されます。スレッドプールもオプションです。）

eventletのように、それは使用して、コールバックとDeferredの作り方が不要になりgreenletsを。

例を確認してください：複数のURLの同時ダウンロード、ロングポーリングWebチャット。

このようなフレームワークの非常に興味深い比較は、ニコラスピエルのブログでまとめられています。一読の価値は十分あります。

これらのソリューションはいずれも、GILがCPUの並列処理を妨げるという事実を回避しません。これらは、すでにスレッドで使用しているIO並列処理を取得するためのより良い方法です。IOを改善できると思われる場合は、必ずこれらのいずれかを実行してください。ただし、ボトルネックが結果の処理にある場合は、マルチプロセッシングモジュールを除いて、ここでは役に立ちません。

Twistedを肥大化させるとは言えませんが、頭を回すのは難しいです。「小さなタスク」には少し簡単なものを常に望んでいたので、私はかなり長い間学習に落ち着くのを避けました。

しかし、私はそれでさらに作業をしたので、すべてのバッテリーが含まれていることは非常に素晴らしいと言わざるを得ません。

私がこれまで取り組んできた他のすべての非同期ライブラリは、表示されるほど成熟していない。Twistedのイベントループはしっかりしています。

ツイストの急な学習曲線をどのように解決するのか私にはよくわかりません。誰かがそれをforkして、後方互換性の残骸や死んだプロジェクトをすべて削除するなど、いくつかのことをクリーンアップする場合に役立ちます。しかし、それは私が推測する成熟したソフトウェアの性質です。

カメリアはまだ言及されていません。その並行性モデルは、受信ボックスと送信ボックスの間でメッセージが渡されるコンポーネントを一緒に配線することに基づいています。ここでは簡単な概要です。

ツイストを使うようになりました。それの美しさはほとんどそれが「肥大化している」からです。そこにあるほぼすべての主要プロトコル用のコネクタがあります。コマンドを受け取ってircサーバーに投稿したり、誰かにメールで送信したり、コマンドを実行したり、NNTPサーバーから読み込んだり、Webページの変更を監視したりするジャバーボットを持つことができます。悪い知らせは、それがそのすべてを行うことができ、OPが説明するような単純なタスクでは物事を過度に複雑にする可能性があることです。Pythonの利点は、必要なものだけを含めることです。したがって、ダウンロードは20MBになる可能性がありますが、2MBのライブラリのみを含めることができます（まだ大量です）。ツイストに関する私の最大の不満は、例が含まれていますが、基本的なtcpサーバーを超えて自分で使用しているものです。

pythonソリューションではありませんが、node.jsは最近、より多くの牽引力を獲得するのを見てきました。実際、私は小さなプロジェクトのためにそれを調査することを検討しましたが、javascriptを聞いたとき私はちょうどうんざりしています:)

この件に関しては、Abe Fettigによる「Twisted Network Programming Essentials」という優れた本があります。これらの例は、非常にPython的なコードを記述する方法を示しています。個人的には、肥大化したフレームワークに基づいているとは思わないでください。本の解決策を見てください、もしそれらがきれいでないなら、私はきれいが何を意味するのかわかりません。

私の唯一の謎は、Rubyのような他のフレームワークと同じです。私は心配します、それはスケールアップしますか？スケーラビリティの問題が発生するフレームワークにクライアントをコミットするのは嫌です。

Whizzerは、pyevを使用する小さな非同期ソケットフレームワークです。主にpyevのため、非常に高速です。これは、いくつかのわずかな変更を加えた、同様のインターフェースを提供しようとします。

Synclessもお試しください。コルーチンベースです（したがって、Concurrence、Eventlet、geventに似ています）。socket.socket、socket.gethostbyname（etc。）、ssl.SSLSocket、time.sleep、select.selectのドロップイン非ブロッキング置換を実装しています。これは速い。Stackless Pythonとlibeventが必要です。C（Pyrex / Cython）で記述された必須のPython拡張が含まれています。

シンクレスの良さを確認。libev（libeventの新しい、よりクリーンでより良いパフォーマンスバージョン）を使用できます。以前はlibeventほどサポートされていませんでしたが、現在は開発プロセスがさらに進んでおり、非常に便利です。

単純で軽量なHTTPリクエストライブラリが必要な場合は、Unirestが本当に良い と思います

まったく異なるアプローチを取るPyWorksをご覧ください。オブジェクトインスタンスを独自のスレッドで実行し、そのオブジェクトへの関数呼び出しを非同期にします。

クラスがオブジェクトではなくタスクから継承するようにしてください。それは非同期であり、すべてのメソッド呼び出しはプロキシです。戻り値（必要な場合）はFutureプロキシです。

res = obj.method( args )
# code continues here without waiting for method to finish
do_something_else( )
print "Result = %d" % res # Code will block here, if res not calculated yet

PyWorksはhttp://bitbucket.org/raindog/pyworksにあります。