ヘッドレスブラウザとスクレイピング-ソリューション[終了]

ブラウザーの自動テストスーツとスクレイピングが可能なヘッドレスブラウザープラットフォームの可能なソリューションのリストを掲載しようとしています。

ブラウザのテスト/スクレイピング：

• セレン - ポリグロットの速いテスト展開のためのブラウザの自動化におけるフラッグシップやPython、Rubyのは、JavaScript、C＃、Haskellの多くのバインディング、Firefox用IDE（拡張として）。サーバーとして機能し、多くの機能を備えています。

ジャバスクリプト

• PhantomJS - JavaScriptは、スクリーンキャプチャと自動化によるヘッドレステストで、Webkitを使用します。バージョン1.8以降、SeleniumのWebDriver APIが実装されているため、任意のWebDriverバインディングを使用でき、テストはSeleniumと互換性があります
• SlimerJS - PhantomJSと同様に、WebKitの代わりにGecko（Firefox）を使用します
• CasperJS - PhantomJSとSlimerJSの両方に基づいて構築されたJavaScriptには、追加機能があります
• ゴーストドライバ - のJavaScriptの実装webdriverをワイヤプロトコルのためPhantomJS。
• 新しい PhantomCSS -CSS回帰テスト。PhantomJSと Resemble.jsを使用して視覚回帰テストを自動化するためのCasperJSモジュール。
• 新しい WebdriverCSS-視覚回帰テストを自動化するための Webdriver.ioのプラグイン
• 新しい PhantomFlow-テストによるユーザーフローの説明と視覚化。Webユーザーインターフェイステストへの実験的アプローチ。
• 新しい trifleJS -PhantomJS APIを移植して、Internet Explorerエンジンを使用します。
• 新しい CasperJS IDE （商用）

NODE.JS

• ノードファントム-PhantomJSとnode.jsの間のギャップを埋めます
• WebDriverJs -Seleniumチームによるnode.jsのSelenium WebDriverバインディング
• WD.js -WebDriver / Selenium 2のノードモジュール
• yiewd-最新のHarmonyジェネレーターを使用したWD.jsラッパー！収量でコールバックピラミッドを取り除く
• ZombieJs - node.jsを使用した非常に高速なヘッドレスフルスタックテスト
• NightwatchJs -Selenium Webdriverを使用したNode JSベースのテストソリューション
• Chimera -Chimera：phantomJSの機能をすべて実行できますが、完全なJS環境で実行できます
• Dalek.js -Selenium Webdriverを介したJavaScriptによる自動クロスブラウザーテスト
• Webdriver.io-事前定義された50以上のアクションによるWebDriverバインディングのより良い実装
• 悪夢 -高レベルAPIを備えた電子ブリッジ。
• jsdom -Webスクレイピング向けに調整。Node.jsで実装された非常に軽量なDOMで、JavaScriptを使用したページをサポートしています。
• 新しい Puppeteer -ChromeまたはChromiumを制御するための高レベルAPIを提供するノードライブラリ。Puppeteerはデフォルトでヘッドレスで実行されます。

ウェブスクレイピング/マイニング

• Scrapy - Python、主にスクレーパー/マイナー-高速で十分に文書化されており、Django Dynamic Sc​​raperとリンクして、優れたマイニングデプロイメント、またはScrapy Cloud for PaaS（サーバーレス）デプロイメントとリンクでき、ターミナルまたはサーバーのスタンドアロンプ​​ロセスで動作します、Twisted上に構築されたCeleryで使用できます
• Snailer - node.jsモジュール、まだテストされていません。
• Node-Crawler - node.jsモジュール、まだテストされていません。

オンラインツール

• 新しい Webスクレイピング言語-Webをクロールするための単純な構文

• 新しい オンラインHTTPクライアント -専用SO回答

• 死んだ CasperBox - CasperJSスクリプトをオンラインで実行する

関連リンクとリソース

• Webscrapingソフトウェアの比較
• 新しい Resemble.js：画像分析と比較

質問：

• 実際に機能し、文書化されている純粋なNode.jsソリューションまたはPhjshomJS / CasperJSモジュールへのNodejsはありますか？

回答：キメラは、チェックアウト、その方向に行くように思われるキメラ

• Seleniumよりも簡単にJavaScriptインジェクションが可能な他のソリューションはありますか？

• 純粋なルビーのソリューションを知っていますか？

回答： Rubyベースのソリューションを使用してrjkによって作成されたリストをチェックアウトしてください

• 関連する技術やソリューションを知っていますか？

この質問を自由に編集して、必要に応じてコンテンツを追加してください。あなたの貢献に感謝します！

Rubyを使用する場合は、次の方法も試してください。

• https://github.com/chriskite/anemone（dev停止）
• https://github.com/sparklemotion/mechanize
• https://github.com/postmodern/spidr
• https://github.com/stewartmckee/cobweb
• http://watirwebdriver.com/（Selenium）

また、のこぎりの宝石はかき取りに使用できます。

• http://nokogiri.org/

パックパブリッシングでのこぎりをかき集める方法についての専用の本があります

http://triflejs.org/はphantomjsに似ていますが、IEに基づいています

JSベースのSeleniumの一種はDalek.jsです。自動化されたフロントエンドテストを目的とするだけでなく、スクリーンショットを作成することもできます。重要なすべてのブラウザー用のWebドライバーがあります。残念ながら、それらのWebドライバーは改善する価値があるようです（Firefoxに「バギー」と言っているだけではありません）。