マルチコアマシンのNode.js

Node.jsのは面白そうだね、しかし私は何かを欠場しなければならない-のNode.jsだけ単一のプロセスやスレッドで実行するように調整されていませんか？

それでは、マルチコアCPUとマルチCPUサーバーに対してどのように拡張するのでしょうか。結局のところ、シングルスレッドサーバーを可能な限り高速にするのは素晴らしいことですが、高負荷の場合は複数のCPUを使用したいと思います。アプリケーションを高速化する場合も同様です。今日では、複数のCPUを使用してタスクを並列化する方法のようです。

Node.jsはこの図にどのように適合しますか？どういうわけか複数のインスタンスを分散するという考えですか、それとも何ですか？

[ この投稿は2012-09-02の時点で最新です（上記より新しい）。]

Node.jsは、マルチコアマシンで完全にスケーリングします。

はい、Node.jsはプロセスごとに1つのスレッドです。これは非常に慎重な設計上の決定であり、ロッキングセマンティクスを処理する必要がなくなります。これに同意しない場合、マルチスレッドコードのデバッグがいかに非常に難しいかをまだ理解していないでしょう。Node.jsプロセスモデルの詳細な説明、およびNode.jsプロセスモデルがこのように機能する理由（および複数のスレッドをサポートしない理由）については、他の投稿を参照してください。

では、16コアボックスを活用するにはどうすればよいですか？

二通り：

• 画像のエンコーディングのような非常に重い計算タスクの場合、Node.jsは子プロセスを起動したり、追加のワーカープロセスにメッセージを送信したりできます。この設計では、イベントのフローを管理する1つのスレッドと、重い計算タスクを実行し、他の15個のCPUを消費するN個のプロセスがあります。
• Webサービスのスループットをスケーリングするには、1つのボックスで複数のNode.jsサーバーをコアごとに1つ実行し、リクエストトラフィックをサーバー間で分割する必要があります。これは優れたCPUアフィニティを提供し、コア数とほぼ直線的にスループットをスケーリングします。

Webサービスでのスループットのスケーリング

v6.0.X以降、Node.jsにはそのまますぐにクラスターモジュールが含まれるため、単一のポートでリッスンできる複数のノードワーカーを簡単に設定できます。これは、npmを介して利用できる古いlearnboost "クラスター"モジュールと同じではないことに注意してください。

if (cluster.isMaster) {
  // Fork workers.
  for (var i = 0; i < numCPUs; i++) {
    cluster.fork();
  }
} else {
  http.Server(function(req, res) { ... }).listen(8000);
}

労働者は新しい接続を受け入れるために競争し、最も負荷の少ないプロセスが勝つ可能性が最も高いです。これはかなりうまく機能し、マルチコアボックスでスループットをかなりスケールアップできます。

複数のコアを気にするのに十分な負荷がある場合は、さらにいくつかのことを実行する必要があります。

1. Node.jsサービスをNginxやApacheなどのWebプロキシの背後で実行します。これは、接続の絞り込み（過負荷状態によってボックスを完全にダウンさせたくない場合）、URLの書き換え、静的コンテンツの提供、その他のサブサービスのプロキシを実行できるものです。

2. 定期的にワーカープロセスをリサイクルします。実行時間の長いプロセスの場合、小さなメモリリークでも最終的には加算されます。

3. セットアップログの収集/監視

PS：アーロンとクリストファーの間の別の投稿のコメントでの議論があります（この執筆時点で、そのトップの投稿）。それに関するいくつかのコメント：

• 共有ソケットモデルは、複数のプロセスが単一のポートでリッスンし、新しい接続の受け入れを競うことを可能にするのに非常に便利です。概念的には、フォークされたApacheがこれを行うと考えると、各プロセスは単一の接続しか受け入れずに終了するという重要な警告があります。Apacheの効率の低下は、新しいプロセスの分岐によるオーバーヘッドであり、ソケット操作とは何の関係もありません。
• Node.jsの場合、N個のワーカーを単一のソケットで競合させることは非常に合理的なソリューションです。別の方法として、Nginxのようなオンボックスのフロントエンドをセットアップし、個々のワーカーへのプロキシトラフィックを使用して、ワーカー間で交互に新しい接続を割り当てます。2つのソリューションのパフォーマンス特性は非常に似ています。そして、上で述べたように、とにかくNginx（または別の方法）がノードサービスの前に立つことを望んでいるため、ここでの選択は本当に次のいずれかになります。

共有ポート： nginx (port 80) --> Node_workers x N (sharing port 3000 w/ Cluster)

対

個々のポート： nginx (port 80) --> {Node_worker (port 3000), Node_worker (port 3001), Node_worker (port 3002), Node_worker (port 3003) ...}

個々のポートのセットアップには間違いなくいくつかの利点があります（プロセス間のカップリングが少ない可能性、より高度なロードバランシングの決定などがある可能性があります）が、セットアップするのは間違いなく多くの作業であり、組み込みのクラスターモジュールは低い-ほとんどの人のために働く複雑な代替手段。

1つの方法は、サーバーでnode.jsの複数のインスタンスを実行してから、ロードバランサー（できればnginxのような非ブロッキングインスタンス）をその前に置くことです。

ライアンダールは、昨年の夏にGoogleで行ったテクニカルトークでこの質問に答えています。言い換えれば、「複数のノードプロセスを実行し、それらが通信できるように賢明なものを使用するだけです。たとえば、sendmsg（）スタイルのIPCまたは従来のRPC」。

すぐに手を汚したい場合は、spark2 Foreverモジュールをチェックしてください。これにより、複数のノードプロセスの生成が簡単になります。ポート共有の設定を処理するので、それぞれが同じポートへの接続を受け入れることができ、プロセスが停止した場合や停止したときにプロセスが確実に再起動されるようにするには、自動再生成も行います。

更新-11/11/11：ノードコミュニティのコンセンサスは、クラスタが現在、マシンごとに複数のノードインスタンスを管理するための優先モジュールであるということです。 いつまでも一見の価値があります。

クラスタモジュールを使用できます。これを確認してください。

var cluster = require('cluster');
var http = require('http');
var numCPUs = require('os').cpus().length;

if (cluster.isMaster) {
    // Fork workers.
    for (var i = 0; i < numCPUs; i++) {
        cluster.fork();
    }

    cluster.on('exit', function(worker, code, signal) {
        console.log('worker ' + worker.process.pid + ' died');
    });
} else {
    // Workers can share any TCP connection
    // In this case its a HTTP server
    http.createServer(function(req, res) {
        res.writeHead(200);
        res.end("hello world\n");
    }).listen(8000);
}

マルチノードはあなたが持っているかもしれないすべてのコアを利用します。
見ていhttp://github.com/kriszyp/multi-nodeを。

より単純なニーズのために、異なるポート番号でノードの複数のコピーを起動し、それらの前にロードバランサーを配置できます。

ノードJは、CPUを最大限に活用するためにクラスタリングをサポートしています。クラスタで実行していない場合は、おそらくハードウェア機能を浪費しています。

Node.jsのクラスタリングにより、同じサーバーポートを共有できる個別のプロセスを作成できます。たとえば、ポート3000で1つのHTTPサーバーを実行する場合、それはプロセッサのシングルコアのシングルスレッドで実行される1つのサーバーです。

以下に示すコードを使用すると、アプリケーションをクラスター化できます。このコードは、Node.jsによって表される公式コードです。

var cluster = require('cluster');
var numCPUs = require('os').cpus().length;

if (cluster.isMaster) {
    // Fork workers.
    for (var i = 0; i < numCPUs; i++) {
        cluster.fork();
    }

    Object.keys(cluster.workers).forEach(function(id) {
        console.log("I am running with ID : " + cluster.workers[id].process.pid);
    });

    cluster.on('exit', function(worker, code, signal) {
        console.log('worker ' + worker.process.pid + ' died');
    });
} else {

    //Do further processing.
}

完全なチュートリアルについては、この記事を確認してください

上記のように、クラスターはすべてのコアにわたってアプリをスケーリングおよび負荷分散します。

のようなものを追加する

cluster.on('exit', function () {
  cluster.fork();
});

失敗したワーカーを再起動します。

最近では、多くの人がPM2も好んでいます。PM2はクラスタリングを処理し、いくつかの優れた監視機能も提供します。

次に、NginxまたはHAProxyをクラスタリングで実行されている複数のマシンの前に追加すると、複数レベルのフェイルオーバーとはるかに高い負荷容量が得られます。

nodeの将来のバージョンでは、プロセスをforkしてメッセージを渡すことができるようになります。Ryanは、ファイルハンドラーも共有する方法を見つけたいと述べているため、単純なWeb Worker実装ではありません。

現時点ではこれに対する簡単な解決策はありませんが、それはまだ非常に早い段階であり、nodeは私が今まで見た中で最も動きの速いオープンソースプロジェクトの1つなので、近い将来に素晴らしいものが期待されます。

Spark2はSparkに基づいており、現在は保守されていません。クラスターはその後継であり、CPUコアごとに1つのワーカープロセスを生成したり、デッドワーカーを再生成したりするなど、いくつかの優れた機能を備えています。

ノードワーカーを使用して、メインプロセスから簡単な方法でプロセスを実行しています。公式の方法が出てくるのを待つ間、うまく機能しているようです。

ブロックの新しい子供は、LearnBoostの"Up"です。

「ゼロダウンタイムリロード」を提供し、さらに複数のワーカー（デフォルトではCPUの数ですが、設定可能です）を作成して、すべての世界で最高のものを提供します。

それは新しいですが、かなり安定しているようで、現在のプロジェクトの1つで楽しく使用しています。

クラスタモジュールは、あなたのマシンのすべてのコアを利用することができます。実際、2つのコマンドで、非常に人気のあるプロセスマネージャーpm2を使用してコードに手を加えることなく、これを利用できます。

npm i -g pm2
pm2 start app.js -i max

所有しているCPUの数を検出するために使用できるosモジュールと組み合わせてクラスターモジュールを使用することにより、複数のコアでnode.jsアプリケーションを実行できます。

たとえばserver、バックエンドでシンプルなhttpサーバーを実行するモジュールがあり、いくつかのCPUで実行したいとします。

// Dependencies.
const server = require('./lib/server'); // This is our custom server module.
const cluster = require('cluster');
const os = require('os');

 // If we're on the master thread start the forks.
if (cluster.isMaster) {
  // Fork the process.
  for (let i = 0; i < os.cpus().length; i++) {
    cluster.fork();
  }
} else {
  // If we're not on the master thread start the server.
  server.init();
}

unixソケットをリッスンするいくつかのスタンドアロンサーバーとしてWebサービスを設計することもできます。これにより、データ処理などの機能を別のプロセスにプッシュできます。

これは、cgiプロセスがビジネスロジックを処理し、UNIXソケットを介してデータベースにデータをプッシュおよびプルする、ほとんどのscrpting /データベースWebサーバーアーキテクチャに似ています。

違いは、データ処理がポートでリッスンするノードWebサーバーとして書き込まれることです。

より複雑ですが、最終的にはマルチコア開発を行う必要があります。各Webリクエストに対して複数のコンポーネントを使用するマルチプロセスアーキテクチャ。

それぞれ1つのNodeJSプロセスを実行している複数のボックスの前にある純粋なTCPロードバランサー（HAProxy）を使用して、NodeJSを複数のボックスにスケールアウトすることが可能です。

すべてのインスタンス間で共有する共通の知識がある場合は、中央のRedisストアなどを使用して、すべてのプロセスインスタンス（たとえば、すべてのボックス）からアクセスできます。