0
Hadoopのホスト検証を無効にする
(自動スケーリンググループを介してデプロイされた)AWS EC2インスタンスでLinuxサービスとして実行するようにHadoopを設定し、sparkユーザーとして実行します。ただし、起動すると、Hadoopサービスのsystemctlステータスに、マスターに対して検証できないという不満のメッセージが表示されます(マスターとワーカーの自動検出にConsulを使用しています)。 Jan 11 23:40:23 ip-172-21-1-19.us-west-2.compute.internal hadoop[12095]: Stopping namenodes on [spark-master.service.consul] Jan 11 23:40:23 ip-172-21-1-19.us-west-2.compute.internal hadoop[12095]: spark-master.service.consul: Host key verification failed. Jan 11 23:40:23 ip-172-21-1-19.us-west-2.compute.internal hadoop[12095]: spark-worker.service.consul: Host key verification failed. Jan 11 23:40:24 ip-172-21-1-19.us-west-2.compute.internal hadoop[12095]: Stopping secondary namenodes [0.0.0.0] Jan 11 23:40:24 ip-172-21-1-19.us-west-2.compute.internal hadoop[12095]: 0.0.0.0: Host key verification failed. …