リーダーは利用できませんKafka in Console Producer

カフカを使おうとしています。
すべての構成は適切に行われていますが、コンソールからメッセージを生成しようとすると、次のエラーが発生し続けます

WARN Error while fetching metadata with correlation id 39 : 
     {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

カフカバージョン： 2.11-0.9.0.0

のadvertised.host.name設定に関連している可能性がありますserver.properties。

何起こる可能性は、あなたの生産者は、そのうちの数字与えられたパーティションのリーダーである人を見つけるためにしようとしていることであるadvertised.host.nameとadvertised.port接続するとしようとします。これらの設定が正しく構成されていない場合は、リーダーが利用できないと見なされる可能性があります。

ここに記載されているすべての推奨事項を試しました。私のために働いたのは、行ってserver.properties追加することでした：

port = 9092
advertised.host.name = localhost 

そのままlistenersにadvertised_listenersしてコメントアウトします。

私にとってそれを解決したのは、リスナーを次のように設定することです：

advertised.listeners = PLAINTEXT://my.public.ip:9092
listeners = PLAINTEXT://0.0.0.0:9092

これにより、KAFKAブローカーはすべてのインターフェースをlistenします。

私はDockerコンテナーとして実行されているkafkaを持っていて、同様のメッセージがログにあふれていました。
そしてKAFKA_ADVERTISED_HOST_NAME、「カフカ」に設定されました。

私の場合、エラーの理由は/etc/hosts、 'kafka'コンテナー自体に 'kafka'のレコードがないことでした。
したがって、たとえば、ping kafka「kafka」コンテナ内で実行すると、ping: bad address 'kafka'

Dockerに関しては、この問題はhostnameコンテナに指定することで解決されます。

それを達成するためのオプション：

• docker run --hostname ...
• docker run -it --add-host ...
• hostname docker-compose
• hostname AWS EC2タスク定義

私はkafka_2.12-0.10.2.1を使用しています：

vi config/server.properties

以下の行を追加：

listeners=PLAINTEXT://localhost:9092

• stdリスナープロパティから値を取得するため、advertised.listenersを変更する必要はありません。

ブローカーがプロデューサーとコンシューマーにアドバタイズするホスト名とポート。設定されていない場合、

• 構成されている場合は、「リスナー」の値を使用します

それ以外の場合は、から返された値を使用しますjava.net.InetAddress.getCanonicalHostName()。

Kafkaブローカーを停止します。

bin/kafka-server-stop.sh

ブローカーを再起動します。

bin/kafka-server-start.sh -daemon config/server.properties

そして今、あなたは何の問題も見るべきではありません。

私はKafkaとの作業中に過去2週間に同じ問題を目撃し、それ以来このStackoverflowの投稿を読んでいます。

2週間の分析の後、私の場合、存在しないトピックへのメッセージを作成しようとしたときにこれが発生したと推定しました。

私の場合の結果は、Kafkaがエラーメッセージを送り返すと同時に、以前には存在しなかったトピックを作成することです。そのため、このイベントの後でそのトピックに対してメッセージを再度生成しようとすると、作成されたトピックとしてエラーが表示されなくなります。

注意：特定のKafkaインストールが、同じトピックが存在しない場合にトピックを自動的に作成するように構成されている可能性があります。これは、私の場合、トピックをリセットした後、すべてのトピックについて一度だけ問題を確認できる理由を説明しているはずです。構成が異なる場合があり、その場合、同じエラーが繰り返し発生し続けます。

よろしく、

ルカ・タンペリニ

まだ作成されていないトピックを購読しようとすると、このメッセージが表示される傾向があります。通常、デプロイされた環境で演繹的に作成されるトピックに依存しますが、Docker化されたkafkaインスタンスに対して実行されるコンポーネントテストがあり、毎回クリーンに開始されます。

その場合、テスト設定でAdminUtilsを使用して、トピックが存在するかどうかを確認し、存在しない場合は作成します。AdminUtilsの設定の詳細については、この他のスタックオーバーフローを参照してください。

この警告の別の可能性（0.10.2.1）は、作成されたばかりのトピックで投票しようとしたが、このトピックパーティションのリーダーがまだ利用できず、リーダーシップ選挙の真っ最中です。

トピックの作成とポーリングの間に1秒待機することは、回避策です。

kubernetesでkafkaを実行しようとしてこのエラーが発生した場合、最終的にこれが解決されました。

次のいずれかを行う必要があります。

1. hostnameポッド仕様に追加すると、カフカは自分自身を見つけることができます。

または

2. を使用しているhostPort場合はhostNetwork: true、dnsPolicy: ClusterFirstWithHostNet

これは、Kafkaが自身と通信する必要があるためで、localhostを使用するのではなく、「アドバタイズされた」リスナー/ホスト名を使用して自分自身を見つけることにします。アドバタイズされたホスト名をポッドにポイントするサービスがある場合でも、ポッド内からは表示されません。なぜそうなのかは本当にわかりませんが、少なくとも回避策はあります。

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: zookeeper-cluster1
  namespace: default
  labels:
    app: zookeeper-cluster1
spec:
  replicas: 1
  selector:
    matchLabels:
      app: zookeeper-cluster1
  template:
    metadata:
      labels:
        name: zookeeper-cluster1
        app: zookeeper-cluster1
    spec:
      hostname: zookeeper-cluster1
      containers:
      - name: zookeeper-cluster1
        image: wurstmeister/zookeeper:latest
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 2181
        - containerPort: 2888
        - containerPort: 3888

---

apiVersion: v1
kind: Service
metadata:
  name: zookeeper-cluster1
  namespace: default
  labels:
    app: zookeeper-cluster1
spec:
  type: NodePort
  selector:
    app: zookeeper-cluster1
  ports:
  - name: zookeeper-cluster1
    protocol: TCP
    port: 2181
    targetPort: 2181
  - name: zookeeper-follower-cluster1
    protocol: TCP
    port: 2888
    targetPort: 2888
  - name: zookeeper-leader-cluster1
    protocol: TCP
    port: 3888
    targetPort: 3888

---

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: kafka-cluster
  namespace: default
  labels:
    app: kafka-cluster
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kafka-cluster
  template:
    metadata:
      labels:
        name: kafka-cluster
        app: kafka-cluster
    spec:
      hostname: kafka-cluster
      containers:
      - name: kafka-cluster
        image: wurstmeister/kafka:latest
        imagePullPolicy: IfNotPresent
        env:
        - name: KAFKA_ADVERTISED_LISTENERS
          value: PLAINTEXT://kafka-cluster:9092
        - name: KAFKA_ZOOKEEPER_CONNECT
          value: zookeeper-cluster1:2181
        ports:
        - containerPort: 9092

---

apiVersion: v1
kind: Service
metadata:
  name: kafka-cluster
  namespace: default
  labels:
    app: kafka-cluster
spec:
  type: NodePort
  selector:
    app: kafka-cluster
  ports:
  - name: kafka-cluster
    protocol: TCP
    port: 9092
    targetPort: 9092

他の人を助けるかもしれないので、これを追加します。一般的な問題は、の設定ミスである可能性がありadvertised.host.nameます。Dockerでdocker-compose設定を使用するとKAFKA_ADVERTISED_HOST_NAME、ホスト名も設定しない限り、内部のサービスの名前は機能しません。docker-compose.yml例：

  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    hostname: kafka
    environment:
      KAFKA_ADVERTISED_HOST_NAME: kafka
      KAFKA_CREATE_TOPICS: "test:1:1"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

なし上記hostname: kafka発行することができますLEADER_NOT_AVAILABLE接続しようとすると。ここで動作docker-composeする構成の例を見つけることができます

私の場合、自宅では問題なく機能していましたが、オフィスのネットワークに接続した瞬間、オフィスでは機能しませんでした。

そのため、config / server.properties listeners = PLAINTEXT：//：9092をlisteners = PLAINTEXT：// localhost：9092に変更しました

私の場合、私はコンシューマグループについて説明している間に

ローカルマシンでkafkaを実行している場合は、$ KAFKA_DIR / config / server.propertiesを以下の行で更新してから、kafka listeners=PLAINTEXT://localhost:9092を再起動してください。

docker-composeを使用して、wurstmeister/kafkaイメージを使用してKafkaコンテナーを構築しています。ファイルにKAFKA_ADVERTISED_PORT: 9092プロパティを追加すると、docker-composeこのエラーが解決しました。

kafkaブローカーがリモートのプロデューサーおよびコンシューマーと接続することを望んでいたので、advertised.listenerコメントアウトしたくありません。私の場合（kubernetesでkafkaを実行）、私のkafkaポッドにクラスターIPが割り当てられていないことがわかりました。clusterIP: Noneservices.ymlから行を削除することにより、kubernetesは内部IPをkafkaポッドに割り当てます。これにより、LEADER_NOT_AVAILABLEの問題と、kafkaプロデューサー/コンシューマーのリモート接続も解決されました。

LEADER_NOT_AVAILABLEエラーがスローされたら、kafkaブローカーを再起動するだけです。

/bin/kafka-server-stop.sh

に続く

/bin/kafka-server-start.sh config/server.properties

（注：この時間までにZookeeperが実行されている必要があります。それ以外の場合は動作しません）

私が追加したこの下の行はconfig/server.properties、上記の問題と同様に私の問題を解決しました。これが役立つことを願って、server.propertiesファイルにかなりよく文書化されています。これを変更する前に、読んで理解してください。 advertised.listeners=PLAINTEXT://<your_kafka_server_ip>:9092

Kafka sslセットアップで苦労していて、このLEADER_NOT_AVAILABLEエラーが表示されているすべての人。壊れる可能性のある理由の1つは、キーストアとトラストストアです。キーストアには、サーバーの秘密鍵と署名済みサーバー証明書が必要です。クライアントのトラストストアでは、クライアントがkafkaサーバーを認証できるように、中間CA証明書が必要です。ブローカー間の通信にsslを使用する場合は、ブローカーのserver.propertiesにもこのトラストストアを設定して、ブローカーが相互に認証できるようにする必要があります。

その最後のピースは、私が誤って見逃していたため、このLEADER_NOT_AVAILABLEエラーが何を意味するのかを見つけるのに多くの苦痛な時間を引き起こしました。うまくいけば、これは誰かを助けることができます。

configディレクトリにあるserver.propertiesファイルにリスナー設定を追加すると、問題が解決します。listeners = PLAINTEXT：// localhost（またはサーバー）：9092この変更後、kafkaを再起動します。使用されているバージョン2.11

私にとって、それはミスの設定が原因に発生した
（9093）ドッカーポート
カフカのコマンドポート「ビン/ kafka-console-producer.sh --brokerリストはlocalhost：9092 --topicます。topicName」
私はポートに一致するように、私の設定をチェックし、今はすべて大丈夫です

私にとって、原因はKafkaパッケージに含まれていない特定のZookeeperを使用していたことです。そのZookeeperはすでに他の目的でマシンにインストールされています。どうやらKafkaはZookeeperだけでは機能しないようです。Kafkaに付属しているZookeeperに切り替えることで解決しました。既存のZookeeperと競合しないようにするために、Zookeeperが別のポートでリッスンするように構成を変更する必要がありました。

[root@host /opt/kafka/config]# grep 2182 *
server.properties:zookeeper.connect=localhost:2182
zookeeper.properties:clientPort=2182

上記の回答で述べたように、宣伝されているリスナーが理由の1つである可能性があります。その他の考えられる理由は次のとおりです。

1. トピックが作成されていない可能性があります。これを使用してこれを確認できますbin/kafka-topics --list --zookeeper <zookeeper_ip>:<zookeeper_port>
2. メタデータを取得するためにプロデューサーに指定したブートストラップサーバーを確認します。ブートストラップサーバーにトピックに関する最新のメタデータが含まれていない場合（たとえば、Zookeeperの主張を失った場合）。複数のブートストラップサーバーを追加する必要があります。

また、アドバタイズされたリスナーがのIP:9092代わりに設定されていることを確認してくださいlocalhost:9092。後者は、ブローカーがlocalhostを介してのみアクセスできることを意味します。

エラーが発生したときPLAINTEXT://<ip>:<PORT>、ブートストラップサーバーのリスト（またはブローカーリスト）で使用したことを覚えており、奇妙に機能しました。

bin/kafka-console-producer --topic sample --broker-list PLAINTEXT://<IP>:<PORT>

私にとって、KafkaインスタンスのブローカーIDは指定しませんでした。Docker環境で再起動すると、zookeeperから新しいIDを取得することがあります。ブローカーIDが1000より大きい場合は、環境変数を指定するだけですKAFKA_BROKER_ID。

これを使用して、ブローカー、トピック、およびパーティションを表示します。

brew install kafkacat
kafkacat -b [kafka_ip]:[kafka_poot] -L

これは長い間投稿されたことを知っています。解決方法を共有したいと思います。
私は私のオフィスのラップトップを持っているので（VPNとプロキシが構成されました）。
私は環境変数NO_PROXYをチェックしました

> echo %NO_PROXY%

空の値で返さ
れました。今度はlocalhostと127.0.0.1で NO_PROXYを設定しました

> set NO_PROXY=127.0.0.1,localhost  

既存の値に追加する場合は、

> set NO_PROXY=%NO_PROXY%,127.0.0.1,localhost  

この後、飼育係を再起動し、カフカ
は魅力のように働きました