Node.jsのバックグラウンドプロセス

NodeJSアプリケーションでバックグラウンドプロセスを処理する良いアプローチとは何ですか？

シナリオ：ユーザーがアプリに何かを投稿した後、データをクランチしたり、外部リソースから追​​加のデータを要求したりします。これらはすべて非常に時間がかかるため、req / resループから除外します。理想的には、ジョブをすぐにダンプできるジョブのキューを用意し、デーモンまたはタスクランナーが常に最も古いジョブを取得して処理することです。

RoRでは、Delayed Jobのようなものでそれを実行したでしょう。このAPIに相当するNodeは何ですか？

サーバーと同じプロセスで実行される軽量なものが必要な場合は、Bullを強くお勧めします。キューをきめ細かく制御できるシンプルなAPIがあります。

スタンドアロンのワーカープロセスとして実行されるものを探している場合は、おそらくKueを調べてください。RESTful APIサーバーとして実行でき、そのためにいくつかのフロントエンドアプリも作成されています。

RubyのResqueに慣れている場合は、Node-resqueというノード実装があります。

Bull、Kue、およびNode-resqueはすべて、Node.jsワーカーキューの至る所にあるRedisによってサポートされています。3つすべてで、RoRのDelayedJobの機能を実行できます。これは、必要な特定の機能とAPI設定の問題です。

バックグラウンドジョブは、Webサービスの作業に直接関連していないため、同じプロセス内にあるべきではありません。スケールアップすると、バックグラウンドジョブのメモリ使用量がWebサービスのパフォーマンスに影響します。ただし、必要に応じて、同じコードリポジトリにそれらを配置できます。

2つのプロセス間でメッセージを送信するための適切な選択肢の1つは、メッセージを時々ドロップしても問題がない場合、redisです。「メッセージを残さない」場合は、Rabbitのようなよりヘビーなブローカーが必要です。Webサービスプロセスを公開し、バックグラウンドジョブプロセスをサブスクライブできます。

2つのプロセスを共ホストする必要はありません。使用するものは何でも、別々のVM、Dockerコンテナーに置くことができます。これにより、問題なくスケールアウトできます。

MongoDBを使用している場合は、アジェンダをお勧めします。この方法では、個別のRedisインスタンスは実行されておらず、スケジューリング、キューイング、Web UIなどの機能がすべて存在します。 アジェンダUIはオプションであり、個別に実行できます。

また、必要に応じてバックグラウンド処理システム全体を交換できるように、アプリケーションロジックとキューイング/スケジューリングシステムの間に疎結合の抽象化を設定することをお勧めします。言い換えれば、それらを軽量に保つために、できるだけ多くのアプリケーション/処理ロジックをアジェンダジョブ定義から遠ざけます。

ジョブのスケジュールにRedisを使用することをお勧めします。さまざまなデータ構造が豊富にあり、いつでもユースケースに適したデータ構造を選択できます。

RoRとDJについて言及されたので、あなたはsidekiqに精通していると思います。node-sidekiqを使用できます必要に応じて、ジョブスケジューリングにをが、その目的はnodejsをRoRと統合することであるため、最適ではありません。

ワーカーのデーモン化には、PM2の使用をお勧めします。広く使用されており、アクティブに保守されています。それは多くの問題（例えば、配備、監視、クラスタリング）を解決するので、それがあなたにとってやり過ぎではないことを確認してください。

ビーキュー＆ブルを試して、結局ブルを選びました。私は最初にビーキューb / cを選択しました。それは非常に単純で、その例は理解しやすいですが、ブルの例は少し複雑です。ミツバチのウィキビーキューの起源も私に共鳴します。しかし、蜂の問題は、<1>の問題解決時間が非常に遅く、最新の更新が10か月前であったことです。<2>ジョブを一時停止/キャンセルする簡単な方法が見つかりません。

一方、Bullは頻繁にコードを更新し、問題に対応します。Node.jsジョブキューの評価では、強気の弱点は「問題解決の時間が遅い」とのことですが、私の経験は逆です。

ただし、いずれにしてもAPIは似ているため、APIを切り替えるのは非常に簡単です。

適切なNode.jsフレームワークを使用してアプリを構築することをお勧めします。

最も強力で使いやすいのはSails.jsだと思います。

これはMVCフレームワークなので、RORでの開発に慣れている場合は、非常に簡単です。

あなたがそれを使うなら、それはすでに強力な（JavaScript用語で）ジョブマネージャを提供しています。

new sails.cronJobs('0 01 01 * * 0', function () {
   sails.log.warn("START ListJob");
}, null, true, "Europe/Dublin");

あなたがより多くの情報を必要とするならば、私に連絡することを躊躇しないでください！