Redis：データベースのサイズ/キーのサイズを表示する

私のredisインスタンスは非常に大きくなっているようです。そこにある複数のデータベースのうち、どれだけのメモリを消費しているかを調べたいと思います。RedisのINFOコマンドは、データベースごとの合計サイズとキーの数を表示するだけなので、あまり洞察が得られません...したがって、redisサーバーを監視するときに詳細情報を提供するツール/アイデアをいただければ幸いです。

Redisのドキュメントには、特定のキーの消費メモリを返すことができるコマンドが示されていません。そのため、バグのあるコードがRedisに大量の「ゴミ」を書き込むとしたら、これを見つけるのは非常に難しいでしょう...

だから私自身の問題に対する私の解決策：redis-cliもう少し長く遊んだ後、それはキーのDEBUG OBJECT <key>ようなものを明らかにすることを発見しましたserializedlength、それは実際に私が探していたものでした...

データベース全体の場合KEYS *、選択したスクリプト言語でそれほど難しくないはずのすべての値を集約する必要があります...

悪い点は、redis.ioには実際には多くの情報がないことDEBUG OBJECTです。

コメントからの解決策はそれ自身の答えに値します：

redis-cli --bigkeys

MEMORY USAGE key コマンドは、キーとその値をRAMに保存するために必要なバイト数を示します。

報告された使用量は、その値に必要なデータと管理オーバーヘッドのメモリ割り当ての合計です（ソースredisドキュメント）

このプロジェクトを見てください。これは、regexとプレフィックスに基づいたキースペースに関するいくつかの興味深い統計を出力します。DEBUG OBJECTコマンドを使用してデータベースをスキャンし、キーのグループを識別して、それらが占有しているスペースの割合を推定します。

https://github.com/snmaynard/redis-audit

出力は次のようになります。

Summary  

---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
Key                                                | Memory Usage | Expiry Proportion | Last Access Time                                    
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
notification_3109439                               | 88.14%       | 0.0%              | 2 minutes                               
user_profile_3897016                               | 11.86%       | 99.98%            | 20 seconds  
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  

またはこれ：https： //github.com/sripathikrishnan/redis-rdb-toolsこれは、dump.rdbファイルをオフラインで分析することによってキースペース全体を完全に分析します。これもうまくいきます。データベース内のエントリの平均/最小/最大サイズを指定でき、プレフィックスに基づいて実行することもできます。

Redisキーをサンプリングし、タイプ別にグループ化すると非常に便利な場合があります。Salvatoreは、redis-samplerと呼ばれるツールを作成しました。このツールは、約10000個のRANDOMKEYコマンドを発行し、その後TYPEに取得したキーを発行します。ほんの数秒または数分で、キータイプの分布をかなり正確に把握できるはずです。

私は拡張機能を作成しました（残念ながら、作業に関連しているため、オープンソースではありません）。これにより、regexを介してキー名のイントロスペクションが少し追加され、アプリケーションキーの種類がわかります（名前の構造に応じて）。を使用して、Redisに保存されます。redis-samplerのより一般的な出力と組み合わせると、何が起こっているのかについて非常に良いアイデアが得られるはずです。

おそらく、dbファイルに対してイントロスペクションを行うことができます。プロトコルは比較的単純です（まだ十分に文書化されていません）ので、どの個々のキーが多くのスペースを占めているかを判断するためのパーサーを作成できます。

新しい提案：

MONITOR何が書かれているのかをライブで確認するために使用してみましたか？おそらく、移動中のデータに問題があることがわかります。

.netアプリケーションhttps://github.com/abhiyx/RedisSizeCalculator を使用して、redisキーのサイズを計算できます。

同じことについてのフィードバックをお気軽にどうぞ

私は通常、そのようなシナリオのトラブルシューティングにキーサンプリング方法を好みます。

redis-cli -p 6379 -n db_number --bigkeys

例えば：-

redis-cli -p 6370 -n 0 --bigkeys