大規模サイト向けのメモリ節約キャッシュ消去戦略？

Drupal 7サイトの1つには、数千のフィールド、多数のコンテンツタイプ、25を超えるビュー、および数百（まもなく数千）のプロファイルタイプがあります。このため、エンティティフィールド情報をより適切にキャッシュするコアパッチ（http://drupal.org/node/1040790）と、（1つのHUGEを使用する代わりに、表示によってビューをより適切にキャッシュする-devバージョンのViewを使用しています。すべてのビューデータを含むビューキャッシュ行）。

これにより、サイト上のほとんどのページが160MB以上ではなく20-30MBのRAMを使用して読み込まれます（10MB以上のフィールドとビューのcache_ *テーブル行をプルアップする代わりに、パッチはcache_ *データをより効率的に維持するのに役立ちます）。

ただし、キャッシュの再構築には非常に長い時間がかかるという問題があります。通常、1分または2分以上。また、この間、Drupalはページをロードしません（読み取ろうとしているキャッシュがまだ構築されていないため、他のリクエストは待機する必要があります）。

トラフィックの少ないサイクルでは、これは大した問題ではありません。100人程度のユーザーは、ページが読み込まれるまで1分間待つだけです。しかし、トラフィックの多いサイクルでは、Apacheサーバーは40以上のCPU負荷で狂い始め、すべてのワーカースレッドが待機しているためにメモリがすぐに一杯になり、メモリを使い果たしてスワップを引き起こします。それは一種の死のスパイラルです。httpdを再起動すると問題は解決しますが、正常に戻るには5〜10分かかります。

私の目標は、キャッシュをクリアしてもサイトがひどくならないようにすることです。たとえば、admin_menuの個々のキャッシュクリア機能（「CSS and JS」、「Menu」、「Theme registry」など）を使用すると、「Page and else」オプションを押すまでスムーズに進みます。それは、ビューのキャッシュがリセットされるとき（キャッシュする必要があるビューの数を含む非常にCPUとデータベースに負荷がかかる操作）、およびフィールド情報キャッシュがリセットされるときです（このサイトでもCPUとデータベースに負荷がかかります）。

だから...私の質問/アイデア：

• ブラシや他のシェルスクリプトを使用して、「すべてのキャッシュを一度に爆発させ、クリーンな再構築を期待する」よりも賢い方法でキャッシュをクリアすることは可能ですか？
• キャッシュのクリア中にhttpリクエストをブロックして、Apacheが大量のキャッシュスタンプリクエストで詰まらないようにできますか？
• Drupal /通常のhttpdリクエスト以外でキャッシュをクリアできる場合、おそらくキャッシュクリア操作に高いPHP memory_limitを設定し、ユニバーサルmemory_limitを元に戻すことができます（個々のhttpdスレッドがキャッシュをクリアする必要がある場合は、現在256MBに設定されています） ...）。

基本的に：UIのボタンをクリックするdrush cc allか、使用する以外に、Drupalですべてのキャッシュをクリアするインテリジェントで優雅な方法はありますか？

[ 明確化のための編集：私が抱える主な問題は、キャッシュの再構築です。（a）時間がかかり、（b）再構築が完了するまで他のすべてのリクエストをブロックします。トラフィックの多い時間帯で再構築がそれほど致命的ではないようにする方法を見つけたいと思います。]

UIのボタンをクリックするか、drush cc allを使用する以外に、Drupalですべてのキャッシュをクリアするインテリジェントで優雅な方法はありますか？

キャッシュアクションモジュールは、それを行います。ルールに依存します。たとえば、「x」タイプのノードが追加または更新されたときに特定のビューをクリアするルールを設定できます。詳細については、ドキュメントをご覧ください。

キャッシュの優雅なモジュールも見てください-まだ試していませんが、面白そうです。

主な問題は、MySQLを使用してキャッシュデータを保存していることです。高負荷のサイトでは、これは非常に非効率的なソリューションです。

代わりにMemcacheを使用することをお勧めします。これにより、キャッシュシステムのパフォーマンスが劇的に向上し、2つの大きなメリットが得られます。

1. Memcacheは、MySQLの読み取りおよび書き込み操作ではるかに高速です。すべてのキャッシュ操作（および完全なキャッシュ再構築）はより高速に動作します。
2. キャッシュデータはDBに保存されなくなったため、キャッシュをクリアしても他のMySQLクエリはブロックされません。

以下は、Drupal 7のMemcache構成の例です。

ブラシや他のシェルスクリプトを使用して、「すべてのキャッシュを一度に爆発させ、クリーンな再構築を期待する」よりも賢い方法でキャッシュをクリアすることは可能ですか？

すべてのキャッシュdrush cc type_of_cacheを消去したくない場合は、特定のキャッシュをクリアするか、独自のキャッシュを定義するために使用します。

または、すべてのキャッシュのようなテーブルを手動でクリアします。例えば

echo "SHOW TABLES LIKE 'cache%'" | $(drush sql-connect) | tail -n +2 | xargs -L1 -I% echo "DELETE FROM %;" | $(drush sql-connect) -v 

memcached（Bash構文）を使用している場合は、次を試してください。

pgrep memcached && echo flush_all > /dev/tcp/127.0.0.1/11211

キャッシュのクリア中にhttpリクエストをブロックして、Apacheが大量のキャッシュスタンプリクエストで詰まらないようにできますか？

メンテナンスモード（drush -y vset maintenance_mode 1）を有効にして、サイトへのアクセスを防止します。または、フロントエンドを別の場所にリダイレクトするように構成します（例：Varnishで、Apacheでリダイレクトまたは変更します.htaccess）。

Drupal /通常のhttpdリクエスト以外でキャッシュをクリアできる場合は、おそらくmemory_limitキャッシュクリア操作に高いPHP を設定し、ユニバーサルをバックオフmemory_limitできます（個々のhttpdスレッドがキャッシュをクリアする必要がある場合に備えて、現在256MBに設定しています）。 。）。

キャッシュをクリアしてもメモリは消費されませんが、クリア後にキャッシュを再構築するとより多くのメモリが消費されます。cronを実行するか、ページを開くことで、いつでもキャッシュをウォームアップできます。

time php -n -d memory_limit=-1 time $(which drush) cc registry
PHP_OPTIONS='-d memory_limit="2G"' drush cron
php -d memory_limit=1G ./scripts/drupal.sh http://localhost/

^{キャッシュ消去プロセスをさらに高速化できる処理-nを無視するように指定しphp.iniます。}

潜在的に金銭的なコストがかかりますが、Varnishのようなキャッシュサーバーのセットアップを使用できます。利点は、ユーザーが賢くなくても、実稼働サーバーでキャッシュがクリアされている間、ワニスがサイトを提供することです。

欠点：実稼働サーバーのダウンタイムの秒/分とVCLタイムアウト設定に応じて、その間にVarnishが更新され、Varnish 503エラー画面が表示されます。

しかし、このアプローチとRedisまたはMemcacheが役立つ場合があります。