カフカの消費者相殺を決定するものは何ですか？

私はカフカに比較的新しいです。私はそれを少し実験しましたが、消費者オフセットに関していくつかのことが不明確です。私がこれまでに理解したことから、コンシューマーが開始するときに、読み取りを開始するオフセットは、構成設定によって決まりますauto.offset.reset（間違っている場合は訂正してください）。

たとえば、トピックに10個のメッセージ（オフセット0〜9）があり、コンシューマーがダウンする前（またはコンシューマーを強制終了する前）にたまたま5個消費したとします。次に、その消費者プロセスを再起動するとします。私の質問は：

1. auto.offset.resetがに設定されている場合、smallest常にオフセット0から消費を開始しますか？

2. auto.offset.resetがに設定されている場合、largestオフセット5から消費を開始しますか？

3. この種のシナリオに関する動作は常に確定的ですか？

私の質問に不明な点がある場合は、遠慮なくコメントしてください。前もって感謝します。

あなたが説明したよりも少し複雑です。あなたのコンシューマ・グループは、有効なオフセットコミットどこかを持っていない場合にのみのconfigキックは（2サポートオフセットストレージは現在、カフカと飼育係です）、それはまた、ソート、消費者の使用によって異なります。
auto.offset.reset

高レベルのJavaコンシューマーを使用する場合は、以下のシナリオを想像してください。

1. group15つのメッセージを消費して死亡したコンシューマーグループのコンシューマーがあります。次回このコンシューマーを起動すると、その構成も使用せずauto.offset.reset、格納されたオフセットをオフセットストレージ（前述のようにKafkaまたはZK）からフェッチするだけなので、そのコンシューマーは停止した場所から続行されます。

2. （説明したように）トピックにメッセージがあり、新しいコンシューマーグループでコンシューマーを開始しますgroup2。オフセットはどこにも保存されておらず、今回auto.offset.resetは、構成はトピックの最初から開始するか（earliest）、トピックの最後から開始するか（latest）を決定します

対応した値をオフセットするものに影響もう一つearliestとlatestのconfigsは、ログの保存方針です。保持が1時間に設定されたトピックがあるとします。5つのメッセージを作成し、1時間後にさらに5つのメッセージを投稿します。latestオフセットは、まだ前の例と同じままになりますが、earliest一つはなることはできません0カフカはすでにこれらのメッセージを削除するため、可能な最も古い相殺することからなります5。

上記のすべては関連しておらずSimpleConsumer、実行するたびに、auto.offset.resetconfigの使用から開始する場所が決定されます。

あなたが0.9よりも古いカフカのバージョンを使用している場合は、交換する必要がありearliest、latestでsmallest、largest。

単なる更新：Kafka 0.9以降では、Kafkaは新しいJavaバージョンのコンシューマーを使用しており、auto.offset.resetパラメーター名が変更されています。マニュアルから：

Kafkaに初期オフセットがない場合、または現在のオフセットがサーバーに存在しない場合（たとえば、そのデータが削除されているため）の対処方法：

最古：オフセットを最古のオフセットに自動的にリセットします

latest：オフセットを最新のオフセットに自動的にリセットします

none：コンシューマのグループに以前のオフセットが見つからない場合、コンシューマに例外をスローします

その他：コンシューマに例外をスローします。

私は受け入れられた回答を確認した後、これを見つけるのに少し時間を費やしたので、コミュニティがそれを投稿することは役立つかもしれないと思いました。

さらに、offsets.retention.minutesがあります。最後のコミットからの時間が>のoffsets.retention.minutes場合、auto.offset.resetまたキックします