タグ付けされた質問 「scaling」

Linuxサーバーで開くことができるTCPソケットの最大数を制御するカーネルパラメーターまたはその他の設定は何ですか？より多くの接続を許可することのトレードオフは何ですか？ apを使用してApacheサーバーを負荷テストしているときに、サーバーで開いている接続を最大限に簡単に拡張できることに気付きました。接続の再利用を許可するabの-kオプションを省略し、約10,000件を超えるリクエストを送信すると、Apacheは最初の11,0​​00件程度のリクエストを処理し、60秒間停止します。netstatの出力を見ると、TIME_WAIT状態の11,0​​00の接続が示されています。どうやら、これは正常です。TCP信頼性の理由でクライアントが接続を行った後でも、接続はデフォルトの60秒で開いたままになります。 これはサーバーをDoSする簡単な方法のように思えますが、そのための通常の調整と予防策は何だろうと思っています。 テスト結果は次のとおりです。 # ab -c 5 -n 50000 http://localhost/ This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 $> apache-2.0 Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Copyright 2006 The Apache Software Foundation, http://www.apache.org/ Benchmarking localhost (be patient) Completed 5000 requests Completed 10000 requests apr_poll: The timeout specified has …

89 linux  apache-2.2  performance  scaling  tuning 

これに対する本当の答えはないことがわかっているので、仕様の詳細には触れません。しかし、私は今日ab、Apache のコマンドを使用して負荷テストを行っています。 4つの異なるDBテーブルから読み込み、データを操作するページで、1秒あたり70リクエスト（100同時ユーザーで1000リクエスト）に達しました。そのため、かなり重いページです。 サーバーは現在のところ、他の用途には使用されておらず、開発中のため、負荷は私だけです。しかし、アプリケーションは多くのユーザーによって毎日使用されます。 しかし、これで十分ですか？または私は心配する必要があります（それがXリクエストを超えている限り） 私は心配する必要はないと思っていますが、これに関するいくつかのヒントが欲しいです。

39 web-server  scaling  load-testing 

最終的には非常に大きなデータベースを持つ可能性のあるWebサイトに取り組んでいます。このウェブサイトは、deviantARTまでアートコミュニティになります。サイトの使用方法を分析するために、多くのクエリを実行します。SQLクエリを（まだ）最適化する方法がわからないため、一部のクエリがデータベースを強制終了することを期待しています。私は小さなLinux VPSから始めており、将来は物理サーバーに移行します。 この状況下で、どのデータベースが最適に拡張されますか？

20 linux  mysql  postgresql  scaling 

外部のポート80を一時的にブロックしますが、ロードバランサーがファイアウォールを（セキュリティグループを介して）通過させて、インスタンスが異常とみなされないようにします。どうやってやるの？ 更新： また、自分だけがポート80を介してElastic Load Balancerにアクセスできるようにする方法を知りたい（ただし、他のユーザーのアクセスは禁止する）。ロードバランサーには、セットアップして自分のIPアドレスのみを受け入れるように指示できる特定のセキュリティグループがありませんが、他の方法はありますか？

18 amazon-ec2  load-balancing  amazon-web-services  scaling 

オンデマンドでさらに多くのバックエンドサーバーを追加できるようにしたいと考えています。現在、haproxyを再起動せずに設定ファイルにバックエンドサーバーを追加する方法はありません。

17 load-balancing  scaling  haproxy 

Windows 8.1ではシステム全体の「Windows XPスタイル」の高DPIサポートが許可されていないため、Microsoft管理コンソールアプリ（mmc.exe）を高DPI対応にするにはどうすればよいですか？「互換性のトラブルシューティング」コンテキストメニュー項目はありません。

16 scaling  windows-8.1  dpi 

分析パッケージを作成していますが、プロジェクトの要件では、1日あたり10億件のヒットをサポートする必要があります。うん、「億」。言い換えれば、1秒あたり12,000ヒット以上が持続し、できればバーストする余地があります。これには複数のサーバーが必要になることは知っていますが、「より多くのハードウェアを投入する」前に、各ノードのパフォーマンスを最大にしようとしています。 現在、ヒットトラッキング部分が完了し、最適化されています。リクエストをそのままRedisに保存するだけです（後でHadoopで処理するため）。アプリケーションは、ゲートウェイ用のgunicornを備えたPython / Djangoです。 私の2GB Ubuntu 10.04 Rackspaceサーバー（本番マシンではない）は、毎秒約1200個の静的ファイルを提供できます（単一の静的資産に対してApache ABを使用してベンチマーク）。比較すると、静的ファイルのリンクをトラッキングリンクと交換しても、1秒あたり約600のリクエストが発生します-これは、同じ静的アセットを提供するよりも2分の1だけ遅いため、トラッカーが最適化されていることを意味すると思います繰り返します。 ただし、数百万件のヒットでベンチマークを行うと、いくつかのことに気付きました- すべてのNginxログをオフにしているため、ディスク使用量はありません。カスタムコードはリクエストの詳細をRedisに保存するだけです。 一定ではないメモリ使用量-おそらくRedisのメモリ管理のため、私のメモリ使用量は徐々に上昇し、その後低下しますが、一度もボトルネックになったことはありません。 システムの負荷は2〜4前後に留まり、最も重いベンチマークでもシステムは応答します。また、（他の）サーバーが600リクエストを実行している間、目に見える遅延はほとんどなく、手動でhttp://mysite.com/tracking/pixelを表示できます秒。 短いテスト、たとえば50,000件のヒット（約2mを要する）を実行すると、安定した信頼性の高い1秒あたり600件の要求を受け取ります。より長いテストを実行すると（これまでに最大3.5mまで試行されました）、r / sが約250に低下します。 私の質問- a。まだこのサーバーを使い切っているように見えますか？1,200 / sの静的ファイルnginxのパフォーマンスは、他の人が経験したものと同等ですか？ b。そのような大容量アプリケーション向けの一般的なnginxチューニングはありますか？私は64に設定されたワーカースレッドと8に設定されたgunicornワーカースレッドを持っていますが、これらの値を微調整してもあまり助けにも害にもならないようです。 c。着信接続を制限する可能性のあるLinuxレベルの設定はありますか？ d。長時間のテストでパフォーマンスが250r / sに低下する原因は何ですか？繰り返しますが、これらのテスト中にメモリが限界に達することはなく、HDDの使用はゼロです。 事前に感謝します、すべて:) 編集これ は私のnginxの設定です-http ://pastie.org/1450749-それはほとんどバニラで、明らかに脂肪が取り除かれています。

15 nginx  scaling  high-volume  redis 

Amazon、Facebook、Googleは1日あたりのPBではないにしてもTBを使用する必要があるため、通常のサーバーを構築するのと同じ方法で新しいハードディスクとケーブルを新しいラックに継続的にインストールするか、別のテクノロジーが使用されているドライブをまとめて接続しますか？

13 hard-drive  scaling 

マルチリージョンスキームでWebアプリケーション（PHP、MySQL、memcache）をスケーリングしようとしています。現在、ELBおよびRDSインスタンスの背後にある2つのEC2インスタンスのセットアップを使用しています。これらはすべてUS-EAST（バージニア）リージョンにあります。 EU（アイルランド）地域にも存在感を持ちたいです。これは、少なくともそこに新しいEC2インスタンスが存在することを意味します（他のインスタンスと同一で、同じアプリケーションにサービスを提供します）。 目的のAMIをコピーし、新しいインスタンスをセットアップし、同じELB構成（SSL終了に必要）をセットアップし、Route53で遅延ベースのルーティングを構成しました。そして、提案どおりに機能します。 しかし、EUのクライアントには速度の問題があります。これは、EU EC2インスタンスが米国ベースのRDSインスタンスに接続するという事実によるものです。私の知る限り、AmazonはRDSマルチリージョンレプリケーションをまだ有効にしていません。 単一のRDSインスタンスを使用しながら、セットアップ全体を適切に高速化する方法に関する提案はありますか？ また、物事を拡大する方法に関する一般的なアイデアはありますか？理想的には、さまざまな理由でRDSテクノロジーの使用を継続したいと考えています。それにもかかわらず、私は提案を受け入れています（次のアイデアは、独自のMySQLサーバーをホストすることだと思います）。

11 amazon-ec2  amazon-web-services  scalability  amazon-rds  scaling 

この質問が今後の訪問者を助けることはほとんどありません。それは、地理的に狭い地域、特定の瞬間、またはインターネットの世界中のオーディエンスには一般的に適用できない非常に狭い状況にのみ関連しています。この質問をより広く適用するためのヘルプについては、ヘルプセンターにアクセスしてください。 8年前休業。 ElasticSearchをサポートするためのハードウェアレベルの優れたガイドはありますか？LuceneまたはSolrの推奨事項は、開始するのに適していますか？私たちはデプロイメントを展開することを検討しています 2700万のドキュメント、8 TBのデータ 1日あたり30万件のドキュメントを追加 次に、それを約10倍に拡大します。 2億7千万のドキュメント、80 TBのデータ 300万ドキュメント/日を追加 これは奇妙なユースケースで、クエリは1日あたり数千回に達しますが、Ajaxy webappを快適に使用できるように応答時間を十分に短くする必要があります。

10 hardware  scaling  elasticsearch 

私は、Linux CentOS 6を実行している〜600台のリモートサーバー（および600台のプライベートLAN）間にVPNネットワークを構築する契約の予備調査を行っています。ネットワークはスターベースであることが想定されているため、各リモートサーバーは中央サーバーに接続してVPNに入ります（私はそれがSPOFであることを知っていますが、このVPNが構築されているメインアプリケーションがとにかく中央サーバー）。 OpenVPNを使用したいのですが（本当に柔軟で、必要な構成に調整できます）、そのような大規模ネットワークで実行するためのベストプラクティスは何なのかと思っていました。たとえば、tunモードで使用すると、中央サーバーに600のtunインターフェースが作成されます。サポートされているかどうか、または問題が発生するかどうかはわかりません。 私はそのような大規模なネットワークでの経験はありませんので、私はあらゆる種類の提案と指針に心を開いています。ありがとう！

9 networking  openvpn  scaling 

私は現在、下のカラフルな図のような、ドルーパルベースのウェブアプリ用に水平方向にスケーラブルなクラスターを仕様化しようとしています。 ロードバランサーはスティッキーセッションを実装しているため、ユーザーは、作業するサーバーが割り当てられると状態を維持します。 各アプリサーバーには次のものがあります。 正面のニス ランプスタックで実行されている真ん中のdrupal 6 後ろにmemcached 2つのmysqlデータベースサーバーは共有IP上にあり、DRBDとハートビートを備えたHAクラスター内にあるため、1つが失われてもプラットフォーム全体がダウンすることはありません。 次の点について、ご意見をいただければ幸いです。 ファイルストレージを水平方向に拡張するにはどうすればよいですか？ NFSを使用して各アプリサーバーに共有ファイルディレクトリをマウントすることを考えているので、一度にアップロードされたファイルをすべてのアプリサーバーで利用できます。私はNFSを考えています。それは古くからあるからです。また、MogileFSやGlusterFSの経験はありません。NFSは以前に使用したことがあるので、より慣れています。 この方法でNFSを介してディレクトリを共有するのが賢明なサーバーの数を算出するために従うべきガイドラインはありますか？ ここで共有ファイルストレージにHAをどのように提供する必要がありますか？ ここでの1つの問題は、NFSサーバーが単一障害点であることです。 私たちはすでにMysqlサーバーでハートビートとDRBDを使用しており、スタックに含まれるテクノロジの数をできるだけ少なくしたいのですが、ファイルに同じHA戦略を使用した場合、どのような落とし穴がありますかサーバーも？ 代替アプローチ これは、内部向けのサイトであり、内部のイニシアチブがオンになっているときに、限られた数のユーザーが時々非常に集中的に短期間使用する場合があります。したがって、これは一部のスタートアップのように無限に拡張する必要はありません。 とすれば 予想できるトラフィックには上限があります HAをファイルサーバーに追加し、このように水平方向にスケーリングするようにセットアップを設計すると、かなり複雑になります。 また、2台のWebサーバーを強化して、2台のWebサーバー間のピーク負荷を処理し、cronジョブで2台のサーバーにユニゾンまたはrsyncを設定することを検討しています。 それらのファイルはまだ同期しています（スティッキーセッションは、ファイルをアップロードしたのと同じサーバー上のユーザーを維持します） 1つを失うと、サイトはまだ稼働しています。 これは、NFS / DRBD HAの複雑な頭痛を回避するための可能な方法のように聞こえますか？ おかげで、 C

9 nfs  lamp  scaling 

最近、「RAMを増やすかサーバーを増やすかを判断するタイミングを知っていますか？」（データマイニングアプリケーションのスケーリングのコンテキストで）。 わからなかったので、どのように決めるのですか？私はアーキテクチャとスケーリングの知識がほとんどないので（コンピュータのメモリとサーバーが行うことの理解は高レベルの基本に限定されています）、これらの一般的なことをさらに学ぶためのヒントも大歓迎です。

9 memory  scaling 

CakePHPアプリケーションを実行しているサーバーでこの問題があります。サーバーがめちゃくちゃ遅いので、最初はアプリケーションの問題だと思っていましたが、ディスクへの書き込みが5〜6MB /秒であることがわかりました。 そのような重い書き込みの原因を見つける最も簡単な方法は何ですか？ サーバーはGentooを実行しています。

9 linux  performance  io  scaling 

あなたの経験から、どのデータベースはスケーリングが難しいですか？MySQLまたはPostgres？MySQLには、すぐに使えるスケーリング/クラスタリング機能がいくつかありますが、Postgresには、すぐに使えるものはありません。CMIIW。 編集： ここで混乱して申し訳ありませんが、私の質問は、スケールアウト（水平スケーリング）、つまりクラスタリング、シャーディングなどに言及しています。どちらも水平方向にスケーリングできることはわかっていますが、どちらを実装する方が簡単ですか？ 共有してくれてありがとう。

8 mysql  postgresql  scaling