telnet-「外部ホストによって接続が閉じられました」

21

Apache Spark Clusterをセットアップしたいのですが、ポート7077（Spark Masterが実行されている）でワーカーマシンからマスターマシンと通信できません。

だから私telnetはワーカーマシンからマスターにしようとしましたが、これは私が見ているものです：

root@worker:~# telnet spark 7077
Trying 10.xx.xx.xx...
Connected to spark.
Escape character is '^]'.
Connection closed by foreign host.

コマンドはすぐに「外部ホストによって接続が閉じられました」で終了しました。タイムアウトなどは発生しません。

ホストがポートでリッスンしていること、およびtelnet出力に「Connected to spark」と表示されていることを確認しました。—これは、接続が成功したことも意味します。

そのような行動の理由は何でしょうか？この接続のクローズが、ワーカーマシンからマスターに通信できない理由になっているのではないかと思っています。

telnet

— モルエル
ソース

telnetポート（23）は、sparkのiptablesへのアクセスを許可していますか？

— リエカヨ

sparkのiptablesは空です。ポリシーはINPUT、FORWARDそしてOUTPUTチェインのためACCEPTです

— Morのえる

15

ポート7077で接続をリッスンしているプロセスは、接続を受け入れ、すぐに接続を閉じます。問題は、システム自体ではなく、そのアプリケーションのコードまたは構成のどこかにあります。

— ジョン
ソース

接続に問題はないかもしれませんが、これがアプリケーションの動作です。私はApache Sparkを初めて使用しますが、これが予想される動作であるかどうかはわかりません!!!

— Mor Eru

2

私はこれがアプリケーションの振る舞いを疑っています。設定のデバッグ情報については、Apache Sparkのドキュメントとサポートサイトを確認してください。

— ジョン

5

一部の仮想サーバー、特にNATを実行している仮想サーバーでの奇妙な動作を知りました。仮想サーバーによって外部に公開されているポートに接続します。その後、サーバーは接続をターゲットに転送しようとします。ターゲットは拒否します。したがって、NATはメッセージをまったく表示せずに接続を閉じます。何が起こっているのかを理解しようとして髪を引き出します。これは前の答えと非常によく似ています。ソースは、仮想ホスト自体の相互作用です。

最も可能性の高い原因は、誰かがポートを使用しており、実行中のアプリケーションが一度に1つの接続のみを受け入れ、追加の接続を拒否することです。

— スティーブン・サッチェル
ソース

また、外部SFTPサーバーでこのエラーが発生しました。サービスプロバイダーに問い合わせたところ、ポートの制限や、意図的に適用される可能性のある他の構成ルールは除外されました。この問題は、営業時間中に1時間に1回リモートホストからプルするスケジュールされたジョブで断続的に発生します。これまでのところ、接続は受け入れられますが、仮想ホストは一時的に接続を拒否しているという点であなたに同意しているようです。

— JEカーターII

2

アプリケーションには、ローカルホストからのみ接続するポリシー制限があります。elasticsearchと同じ「問題」。app-configを確認するか、トンネルを作成できます。行う

ssh -N -L 7077:127.0.0.1:7077 userxy@spark

それからあなたのマシンで：

telnet 127.0.0.1 7077

— マックス・マスターマン
ソース

1

ホストからのメール送信（Pythonコード経由）が失敗した理由をデバッグしようとしたときに、このエラーに遭遇しました。これは、この特定のホストのメールサーバー上のメールキューがいっぱいになっていることが原因です。

— pdp
ソース