Kafkaトピックラグに基づいてインスタンスを自動スケーリングするにはどうすればよいですか？

特定のKafkaトピックに表示されるラグの量に基づいて動的にスケールアップ/ダウンしたい自動スケーリンググループがあります。スケーリングする必要があるトピックと自動スケーリンググループの間には1対1の関係があります。CloudWatchメトリクスを使用してこれに対処することはできないと確信しています。

競合状態やその他の問題を発生させることなく、ジェンキンスを使用してこれを達成できる方法はありますか？

注：アプリケーションは、CPU、ディスクI / O、またはCloudWatchによって提供されるその他のメトリックによって制約されていません。制約は、着信するKafkaトピックから処理するアプリケーションの機能です。

CloudWatchは、絶対にこの方向に進むための方法です。次のいずれかの方法で、CloudWatchでKafkaメトリックを表示できます。

1. メトリックスをCloudWatchにプッシュする別のプロセスを持っている。
2. プロデューサー、コンシューマー、またはストリームプロセッサーに、必要なメトリックをCloudWatchにプッシュさせます。

あなたが従うプロセスはおおまかに次のように分類されます：

1. カスタム指標を公開します。
2. AutoScaling起動構成を作成します。
3. カスタム指標に基づいてAutoScalingグループとポリシーを作成します。

コストモデルに応じて、スポットインスタンスを使用してコストを抑える方法も検討します。つまり、重要ではないが高いコンピューティングワークロードがある場合は、自動スケーリング構成の一部としてスポットインスタンスを使用します。