elispコードのパフォーマンスを測定するにはどうすればよいですか？

elispコードのパフォーマンスを測定するにはどうすればよいですか？所要時間を測定するために使用できるツール/外部パッケージは何ですか？

合計時間に加えて、機能ごとにかかった時間を示すプロファイルを表示できますか？メモリ使用量もプロファイルできますか？

基準

最も簡単なオプションは組み込みbenchmarkパッケージです。その使い方は非常に簡単です：

(benchmark 100 (form (to be evaluated)))

自動ロードされるので、それを要求する必要さえありません。

プロファイリング

ベンチマークは全体的なテストには適していますが、パフォーマンスの問題がある場合、どの関数が問題を引き起こしているかはわかりません。そのために、（組み込みの）プロファイラーがあります。

1. で開始しM-x profiler-startます。
2. 時間のかかる操作を実行します。
3. でレポートを取得しM-x profiler-reportます。

関数呼び出しのナビゲーション可能なツリーを備えたバッファに移動する必要があります。

@Malabaraの答えに加えて、カスタムメイドのwith-timerマクロを使用して、コードのさまざまな部分（init.elファイルなど）を永続的に計測する傾向があります。

違いは、benchmarkインストルメントする特定のビットのコードのパフォーマンスを調査できる一方with-timerで、コードのインストルメント化された各部分に費やされる時間を（十分に大きい部分のオーバーヘッドなしで）常に提供することです。どの部分をさらに調査する必要があります。

(defmacro with-timer (title &rest forms)
  "Run the given FORMS, counting the elapsed time.
A message including the given TITLE and the corresponding elapsed
time is displayed."
  (declare (indent 1))
  (let ((nowvar (make-symbol "now"))
        (body   `(progn ,@forms)))
    `(let ((,nowvar (current-time)))
       (message "%s..." ,title)
       (prog1 ,body
         (let ((elapsed
                (float-time (time-subtract (current-time) ,nowvar))))
           (message "%s... done (%.3fs)" ,title elapsed))))))

使用例：

(with-timer "Doing things"
  (form (to (be evaluated))))

*Messages*バッファに次の出力を生成します。

Doing things... done (0.047s)

これは、Jon Wiegleyのuse-package-with-elapsed-timer優れたuse-package拡張機能のマクロに大きな影響を受けていることを言及する必要があります。

@Malabarbaの答えに加えて、を使用してコードのコンパイル済み実行時間を測定できることに注意してくださいbenchmark-run-compiled。そのメトリックは、多くの場合、解釈された実行時間よりもはるかに関連性が高くなりM-x benchmarkます。

ELISP> (benchmark-run (cl-loop for i below (* 1000 1000) sum i))
(0.79330082 6 0.2081620540000002)

ELISP> (benchmark-run-compiled (cl-loop for i below (* 1000 1000) sum i))
(0.047896284 0 0.0)

3つの数値は、合計経過時間、GC実行の数、およびGCで費やされた時間です。

ベンチマークとは、数値を取得することだけでなく、結果分析に基づいて意思決定を行うことでもあります。

ありbenchstat.elあなたがその機能を取得するために使用することができますMELPAのパッケージbenchstatプログラムを提供しては。

Xパフォーマンスプロパティをに対して検証する比較ベースのベンチマークを実装しYます。

Benchstat関数benchmark-run-compiledは、情報を収集するだけでなく、解釈形式を読みやすくするためのラッパーとして見ることができます。以下が含まれます。

• Xとの間の経過時間の差分Y
• 平均時間
• 配分額

非常に簡単な使用例：

(require 'benchstat)

;; Decide how much repetitions is needed.
;; This is the same as `benchmark-run-compiled` REPETITIONS argument.
(defconst repetitions 1000000)

;; Collect old code profile.
(benchstat-run :old repetitions (list 1 2))
;; Collect new code profile.
(benchstat-run :new repetitions (cons 1 2))

;; Display the results.
;; Can be run interactively by `M-x benchstat-compare'.
(benchstat-compare)

benchstat-compare一時バッファで結果をレンダリングされます：

name   old time/op    new time/op    delta
Emacs    44.2ms ± 6%    25.0ms ±15%  -43.38%  (p=0.000 n=10+10)

name   old allocs/op  new allocs/op  delta
Emacs      23.0 ± 0%      11.4 ± 5%  -50.43%  (p=0.000 n=10+10)

benchstatただし、プログラムバイナリが必要になります。Goプログラミング言語を使用している場合は、おそらくシステムに既に1つあります。それ以外の場合は、ソースからコンパイルするオプションがあります。

linux / amd64用のプリコンパイル済みバイナリは、githubリリースページにあります。