P99レイテンシとは何ですか？

P99レイテンシは何を表していますか？私はこれについてアプリケーションのパフォーマンスに関する議論で耳にし続けていますが、これについて語るオンラインのリソースを見つけることができませんでした。

それはだ99パーセンタイル。つまり、リクエストの99％は、指定されたレイテンシよりも高速である必要があります。言い換えると、リクエストの1％だけが遅くなることを許可されています。

100人の生徒がレースを実行している場合、99人の生徒が「レイテンシ」時間でレースを完了する必要があります。

サービスのパフォーマンスデータを収集していて、次の表が結果のコレクションであるとします（レイテンシの値はアイデアを説明するための架空のものです）。

Latency    Number of requests
1s         5
2s         5
3s         10
4s         40
5s         20
6s         15
7s         4
8s         1

サービスのP99レイテンシは7秒です。リクエストの1％だけがそれより長くかかります。したがって、サービスのP99レイテンシを減らすことができれば、そのパフォーマンスが向上します。

ここから例を見てみましょう

Request latency:
    min: 0.1
    max: 7.2
    median: 0.2
    p95: 0.5
    p99: 1.3

つまり、ウェブリクエストの99％で、検出されたレイテンシは1.3ms（ミリ秒/マイクロ秒は構成されたシステムレイテンシ測定値によって異なります）以下でした。@tranmqがサービスのP99レイテンシを減らすと言ったように、そのパフォーマンスを上げることができます。

また、p95に注目する価値もあります。要求が少ないため、p99はp95よりもコストがかかるためです。たとえば、キャッシュを構築する最初の要求、クラスオブジェクトのウォームアップ、スレッドの初期化...

最後に; 測定では約1％のノイズ（ネットワークの輻輳、停止、サービスの低下など）が発生する可能性があるため、p99レイテンシは実際に最悪の場合をよく表しています。そして、ほとんどの場合、私たちの目標はp99レイテンシを削減することです。