AWSでsftpインスタンスの負荷を分散する方法


10

sftpサーバーの負荷を分散できることを知りたいですAWS。2台のサーバーがあり、各サーバーがs3fs-fuse同じサーバーをS3 bucketマウントポイントにマウントするために使用しています。私のec2インスタンスはどちらもマウントポイントに対して読み取り/書き込みを行うことができ、からはS3、両方のサーバーのファイルを表示できます。

私が探しているのは、SFTPファイルを転送しAmazon S3、ファイルを保存するために使用することです。ファイルは毎日アップロードされ、ダウンロードされます。

https://github.com/s3fs-fuse/s3fs-fuse

次のステップとして、sftpサーバーの負荷を分散する方法を知りたいので、ユーザーが特定のIPアドレスに接続すると、sftpサーバーの1つにリダイレクトされます。を調べましたがelastic load balancers、特定のポートしか許可していないようです。私も調査しましたがHAProxy、そのソリューションがどれほど安全かはわかりません。私はHIPAAコンプライアンスを考慮に入れなければなりません。ベンダーがサポートしていないため、ロードバランサーは静的IPアドレスである必要がありますDNS hostnames


7
今ほど熱くなってほしくなかった。
Wesley

3
TBH、PHIにs3fs-fuseを使用するのはかなり馬鹿げているようです。
EEAA、2015

記録として、ELBは現在すべてのポート(1-65535)をサポートしています:aws.amazon.com/blogs/aws/…。ただし、ELBでは、クライアントがAWSで生成されたDNS名を使用する必要があります(これは、2つのパブリックIPアドレスをポイントし、変更される場合もあります)。
Jukka

最大の問題は、なぜ負荷分散をしたいのかということです。HAの場合は、プロキシにSPoFがあります。sshのCPU要件の場合、それは信じられないでしょうが、正当な理由があります。
2015

また、暗号化されたS3アップロードをサポートするようベンダーに依頼することを検討しましたか?まったく難しいことではない
w00t

回答:


22

私のコメントはおそらくいくつかの説明を使用するでしょう。私は、酔っ払ったヤクの雄弁さで噴き出しました:

今ほど熱くなってほしくなかった。

どうして?なぜそんなこと言うの?主に私がひどい人だからです。ただし、それとは別に、元の投稿の断片的な部分を確認することで、爆発を説明できます。

AWSでsftpサーバーの負荷を分散できることを知りたいです。

はい。不可能はないです。ただし、特別なSFTPパッケージを入手しない限り、ロードバランシングは完全に構築する必要があります。SFTPであり、AWSでホストされているサービスは重要ではありません。

2台のサーバーがあり、各サーバーはs3fs-fuseを使用して同じS3バケットをマウントポイントにマウントしています。私のec2インスタンスはどちらもマウントポイントに対して読み取り/書き込みができ、S3からは両方のサーバーのファイルを表示できます。

共有ファイルシステムを使用すると、セットアップのパフォーマンスと信頼性にかかわらず、良いスタートを切ることができます。

次のステップとして、ユーザーが特定のIPアドレスに接続したときに、sftpサーバーの1つにリダイレクトされるように、sftpサーバーの負荷を分散する方法を知りたいと思います。

問題は次のとおりです。なぜ負荷分散を行うのですか。Amazonインスタンスカタログには素晴らしいスループットと処理能力があり、SFTPの負荷を分散する必要があるということは、ネットワークアクティビティのポルノレベルに近づいていることを意味します。可能な限り、シンプルで再現性があり、復元力を備えた状態を維持してください。SFTPデーモンを実行しているi2.xlargeを入手すれば、何があっても大丈夫です。Puppet / Chef / $trendy-config-management-toolを使ってビルドすれば、あなたはビジネスに参加できます。しかし次に進みます...

エラスティックロードバランサーを確認しましたが、特定のポートしか許可していないようです。私はHAProxyについても調査しましたが、そのソリューションがどれほど安全かはわかりません。

HAproxyはまさに必要なツールです。セキュリティに関する不安は、ほんの数時間の読書で簡単に解消されます。ここから自分の焼身自殺願望が高まっています。何かがわからない場合は、確信を持ってください。HAProxyは、多くの金融機関、病院、政府にとって最適な選択肢です。

私はHIPAAコンプライアンスを考慮に入れなければなりません。

完全に理解されていますが、コンプライアンスは主にツールの役割ではありません。HIPAAコンプライアンス要件の背後にある概念を理解し、HAproxyがそれらをどのように実現できるかを理解する必要があります。HAProxyはHIPAA準拠でもHIPAA非準拠でもありません。どのツールを使用する場合でも、コンプライアンスと規制のニーズの根本的な前提と要件を個別に検証する必要があります。実際、どちらかといえば、S3とAmazonインスタンスの使用は、HAproxyの使用よりも注意深く検査する必要があります。

ベンダーはDNSホスト名をサポートしていないため、ロードバランサーは静的IPアドレスである必要があります

この。これで終わりました。あなたのベンダーは悪いし、気分が悪いはずです。今、私は溶岩に飛び込みたいです。DNS解決のような基本的なものをサポートしていないことはまったく関係ありませんが、「車には私が使用するためのエンジンが必要です」と言っているようなものです。もちろんです。もちろん、ロードバランサーは静的IPアドレスを使用することができます。上記の単純な静的IPアドレスについて考慮する必要のある考慮事項が他にもたくさんあります。

TL; DR

はい、SFTPとHAproxyを負荷分散できます。HIPAAへの準拠はユーザーが判断し、ツールを選択してもチェックボックスはオンになりません。実行するいくつかのグーグルと読み取るドキュメントがあります。

消す炎があります。


正直なフィードバックと提案をありがとう。私はそれらを調べますが、これは私に始まりを与えます。
popopanda 2015

7
これは、かなり長い間、SFに関する私のお気に入りの回答です。<3
ceejayoz 2015

Netscalerには仮想サーバー用のSFTPモードもあり、それも検討する必要があります。EC2インスタンスでサポートされたNetscalerアプライアンス(帯域幅オプションが異なる)は、AWSマーケットプレイスから入手できます。お金もかかります。
Jukka

10年近く医療IT部門で働いた後、サードパーティベンダーは、システム間でアクセスできないドメインを使用してDNSルックアップをサポートできなくなり、承認された標準に直面する他のレベルの奇妙さは特に驚くことではなく、発生します誰よりも頻繁に。たとえば、数年前、ベンダーは、30日ごとにローテーションされる可能性のあるパスワードを使用していなかったため、ssh公開鍵認証をサポートできないと私に言った。HIPAAは、ある程度のハイパーパラノイアと混乱を引き起こしているようです。AWSがBAになることをいとわないのには驚きました。
Andrew Domaszek

0

はい。AWSロードバランサーを利用することで可能です。

  1. ポート22にリスナーを持つロードバランサーを作成します。
  2. 2つのSFTPインスタンスを使用してターゲットグループを作成します。
  3. インスタンスとロードバランサーの両方でSGを適切に調整します。
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.