パフォーマンスEC2インスタンスを最大限に活用する方法


11

免責事項:私はサーバーのような世界のフロントエンド開発者です。

こんにちは、みんな。EC2にサーバーインスタンスがありc5d.9xlarge、その仕様は次のとおりです。

  • システム:Ubuntu 18.04
  • vCPU:36スレッド/コア
  • メモリー:72 GB
  • ストレージ:900 GB NVMe SSD
  • 専用のEBS帯域幅:7,000 Mbps
  • ネットワークパフォーマンス:10 Gbps

シナリオ:このサーバーを使用して大きなビデオ(4K、1時間以上)をアップロードし、FFMPEGを使用して処理しますが、12コアと48 GBのRAMを搭載した以前のUpCloudサーバーと比較すると、このEC2サーバーはアップロードと処理に1.5倍の時間がかかります、そうではないと思う。

質問:支払い対象のパフォーマンスを最大にするにはどうすればよいですか?


AWS Elastic Transcoderのコストを調べて、それが適切に機能するかどうかを確認する必要があります。
ティム

@Timに感謝します。少し前に見ましたが、実際にはこのサーバーでさらに2、3の呼び出しがあるので、それらを組み合わせると思いました。
マータビスP.

回答:


19

あなたはc5d.9xlarge付属しています900ギガバイトのインスタンスストレージ(別名はかないストレージ) -あなたはそれを使用しているファイルを格納して処理しますか?インスタンスには専用のEBS帯域幅がありますが、インスタンス上のSSDストレージはさらに高速です。すべてのソースファイルと一時ファイルに使用し、結果をEBSにのみ保存することをお勧めします。

ただし、インスタンスストレージにはいくつかの注意事項があります。

  1. 使用する前にフォーマットしてマウントする必要があります。詳細については、この回答を参照してください。SSDインスタンスストレージをUbuntu 16.04のAWS EC2に自動的にマウントする

  2. インスタンスを停止して再起動すると、内容は消去されます。再起動後は停止しますが、停止/開始はできません。


更新:デフォルトではSSDはマウントされていません-それを利用するには、上記のリンクされた回答の手順に従う必要があります。ブート後の標準構成では、SSDよりも遅いEBSを使用します。

そして、あなたが実際にしていることを確認する必要があります、それを使用して設定- アップロードし作業し、一時ディレクトリそのSSDマウントポイントに。

またはさらに良い-72 GBのRAMがあるので、RAMディスクを作成し、それを一時ファイルに使用します。SSDよりも高速です(ファイルが適合する場合)。

まず、アップロード速度を無視して処理を最適化します。ファイルをEBSにアップロードして処理時間を計り、次にSSDにアップロードして時間を計り、次にRAMディスクに入れて処理時間を計ります。それらがどれほど異なるかを見てください。

アップロード速度は、あなたとアップロード先のAWSリージョンとの間の距離や待ち時間など、多くの側面の影響を受けます。近くのAWSリージョンを使用していますか?

CPU性能 -あなたが利用できる36個のCPUを持っている、しかし、各単一コアがあり、あなたの前の12コアのマシンでは遅く、コアよりも。CPUアーキテクチャとクロック速度に依存します。ただし、ビデオ処理を36スレッドに並列化できる場合は、このインスタンスを使用することをお勧めします。単一のスレッドに依存している場合、希望するパフォーマンスが得られない場合があります。

それが役立つことを願っています:)


はい、ファイルの処理中にハードドライブが保存に使用され、プロセスが終了するまでファイルは一時保存されます。結果のファイルはS3に送信されます。SSDがマウントされているかどうかもわかりません。AWSが仕様をデフォルト設定として使用していないことに気付き始めています。SSDをマウントするとアップロードが高速になりますか?フォローアップ:許可されたCPU仕様を最大限に活用する方法はありますか?
マータビスP.

@MartavisP。回答にいくつかの更新を追加しました。
MLu

わあ、情報ありがとうございます!私はあなたが書いたものを研究して適用します。
マータビスP.

1
素晴らしい答え。ボトルネックを見つけるためにベンチマークを行う必要があり、アップロード時間、処理時間、CPU使用率、EBS /ネットワーク使用率などに分類します。並列スレッドのデータをEC2 / S3にアップロードすることで回避できます。Netflixのyoutubeにはこのビデオがありますが、面白いかもしれませんが、そのような詳細に煩わされる前に診断手順を実行してください。
ティム

1

代替案を検討する余地はありますか?のコストについてはc5d.9xlarge、大幅な割引を受けている場合でも、専用サーバー市場では同等またはそれ以上のマシンを複数所有できます。

この種の垂直スケールの問題にクラウドを使用することは、過剰な支払いのレシピであり、これまで見てきたように、パフォーマンスが低い

返事がないので申し訳ありませんが、コメントするのに十分な担当者がいません


UpCloudから切り替えて、これは私にとっては割引でした。それで、あなたは何をお勧めしますか?
マータビスP.

1
クラウド内の同じコンピューティングは、ランダムなWebホスティング業者で毎月レンタルされるサーバーの価格の約4倍であるようです。次に、エンタープライズ割引(〜30%)があり、3年間予約できます(2倍安くなりましたが、今ではランダムなWebホスティング業者よりもはるかに悪いです)。そして、毎月レンタルされるサーバーは、通常、ハードウェアを完全に購入する価格の1/12のようです。それは少なくとも私が見るものです。したがって、クラウドでは3か月ごとにハードウェアを購入しますが、所有していません。
usr

ええ、それは良い点ですが、人生のあらゆるものと同様に、メンテナンスと利便性にお金を払っていることを覚えておく必要があります。サーバーの停止を修正する方法を見つけるのに何日も費やすのではなく、AWSをメカニックにしたいです。持っているのは良い知識ですが、最終的に私のキャリアはコードに関するものなので、クラウドは私のために機能します。
マータビスP.
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.