Kafka：FETCH_SESSION_ID_NOT_FOUNDを継続的に取得しています

FETCH_SESSION_ID_NOT_FOUNDを継続的に取得しています。なぜそうなったのかはわかりません。誰も私にここで私を喜ばせますか？問題は何であり、消費者とブローカーに何が影響しますか？

Kafkaサーバーログ：

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

Kafka消費者ログ：

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

クラスターの詳細：

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only)

apache-kafka

— フリシケシミシュラ
ソース

Kafka Javaクライアントバージョン2.3.1でも同じエラーが発生します。誰かアイデアはありますか？

— バートS.

@ BertS.increase this valuemax.incremental.fetch.session.cache.slots

— Hrishikesh Mishra

こんにちは@HrishikeshMishraはこれです（コメントの上）。この問題の解決策はありますか？あなたの投稿への回答としてそれを追加することを検討しますか、そして可能であれば少しの説明で。同じ問題が発生しています。上記の解決策をテストします。

— ホルヘカンポス

これはINFOログです。それを単に無視することの意味は何ですか？

— バートS.

の値を増やしますmax.incremental.fetch.session.cache.slots。デフォルト値は1Kですが、私の場合は10Kに増やして修正しました。

— フリシケシミシュラ
ソース

これはブローカーの設定ですか？

— バートS.

はい、ブローカー設定

— Hrishikesh Mishra

消費者側や生産者側でできることはありますか？

— バートS.

生産者側と消費者側では何も必要ありません。

— Hrishikesh Mishra

消費者にエラーが表示されます。ブローカー自体を変更するアクセス権がありません。これは私にとって問題でしょうか？

— バートS.

最初は1Kから2Kに増やし、2番目のステップで2Kから4Kに増やしました。制限を超えない限り、エラーは発生しませんでした。

特定の身元不明の消費者によるセッションリークのように思えたので、私はまだ10K制限を試していませんでしたが、Hrishikesh Mishraの回答を読んで、間違いなくそうします。制限を増やすとエラーの頻度も減少するため、過度の数のインクリメンタルフェッチセッションを開いている個々のコンシューマグループを特定するという質問は、ここで言及されています。、結局は無関係かもしれません。

— hdjur_jcv
ソース