Cheerioを使用した単純なクローラー
これは、Node.jsで単純なクローラーを作成するための私の公式です。これがサーバー側でDOM操作を行いたい主な理由であり、おそらくここに到達した理由です。
まず、を使用requestして、解析するページをダウンロードします。ダウンロードが完了したら、それを処理しますcheerio jQueryを使用する場合と同様、 DOM操作を開始します。
作業例：
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
この例では、SOホームページに表示されるすべての上位の質問をコンソールに出力します。これがNode.jsとそのコミュニティが大好きな理由です。それよりも簡単になることはできません:-)
依存関係をインストールします。
npmインストール要求cheerio
そして、実行します（上記のスクリプトがファイルにあると仮定しますcrawler.js）：
ノードcrawler.js
エンコーディング
一部のページには、特定のエンコーディングで英語以外のコンテンツが含まれているため、それをにデコードする必要がありますUTF-8。たとえば、ブラジルポルトガル語（またはラテン語起源の他の言語）のページは、ISO-8859-1（別名 "latin1"）でエンコードされる可能性があります。デコードが必要な場合はrequest、コンテンツを解釈せず、代わりにを使用して処理iconv-liteを行います。
作業例：
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
実行する前に、依存関係をインストールします。
npmインストール要求iconv-lite cheerio
そして最後に：
ノードcrawler.js
リンクをたどる
次のステップはリンクをたどることです。SOの各上位の質問からすべてのポスターをリストしたいとします。最初にすべての上位の質問（上記の例）をリストしてから、各リンクを入力し、各質問のページを解析して、関係するユーザーのリストを取得する必要があります。
リンクをたどると、コールバック地獄が始まります。それを回避するには、何らかの約束、先物などを使用する必要があります。私はいつも私のツールベルトで非同期を保ちます。したがって、非同期を使用するクローラーの完全な例を次に示します。
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
実行する前に：
npm install request async cheerio
テストを実行します。
ノードcrawler.js
出力例：
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
そしてそれはあなたがあなた自身のクローラーを作り始めるために知っておくべき基本です:-)
使用されるライブラリ