メッセージの処理が失敗した場合、同じメッセージを再度消費します

Confluent.Kafka .NETクライアントバージョン1.3.0を使用しています。私はドキュメントに従っています：

var consumerConfig = new ConsumerConfig
{
    BootstrapServers = "server1, server2",
    AutoOffsetReset = AutoOffsetReset.Earliest,
    EnableAutoCommit = true,
    EnableAutoOffsetStore = false,
    GroupId = this.groupId,
    SecurityProtocol = SecurityProtocol.SaslPlaintext,
    SaslMechanism = SaslMechanism.Plain,
    SaslUsername = this.kafkaUsername,
    SaslPassword = this.kafkaPassword,
};

using (var consumer = new ConsumerBuilder<Ignore, string>(consumerConfig).Build())
{
    var cancellationToken = new CancellationTokenSource();
    Console.CancelKeyPress += (_, e) =>
    {
        e.Cancel = true;
        cancellationToken.Cancel();
    };

    consumer.Subscribe("my-topic");
    while (true)
    {
        try
        {
            var consumerResult = consumer.Consume();
            // process message
            consumer.StoreOffset(consumerResult);
        }
        catch (ConsumeException e)
        {
            // log
        }
        catch (KafkaException e)
        {
            // log
        }
        catch (OperationCanceledException e)
        {
            // log
        }
    }
}

問題は、この行をコメントアウトしてもconsumer.StoreOffset(consumerResult);、次に消費したときに次の未使用メッセージを取得し続けることです。つまり、オフセットが増加し続けます。これは、ドキュメントに記載されているとおりではなく、少なくとも1つの配信です。

設定EnableAutoCommit = falseから 'EnableAutoOffsetStore = false' を設定して削除consumer.StoreOffset(consumerResult)しconsumer.Commit()、に置き換えても、同じ動作がCommit表示されます。つまり、をコメントアウトしても、次の未使用のメッセージが引き続き表示されます。

ここには基本的な何かが欠けているように感じますが、何が理解できません。どんな助けでもありがたいです！

コメントはまだ追加できません。Kafkaコンシューマーはメッセージをバッチで消費するため、バックグラウンドスレッドによってプリフェッチされたバッチを繰り返し処理する可能性があります。

kafka utilを使用して、コンシューマーが実際にオフセットをコミットするかどうかを確認できます kafka-consumer-groups.sh

kafka-consumer-groups.sh --bootstrap-server kafka-host:9092 --group consumer_group  --describe

たとえば、5のように各メッセージを一定回数処理するための再試行ロジックが必要な場合があります。これらの5回の再試行中に成功しない場合は、このメッセージを別のトピックに追加して、すべてを処理できます。実際のトピックよりも優先される失敗したメッセージ。または、失敗したメッセージを同じトピックに追加して、後で他のすべてのメッセージが消費されたときにピックアップされるようにすることもできます。

5回の再試行でメッセージの処理が成功した場合は、キュー内の次のメッセージにスキップできます。