Grep -E、Sed -E-'[x] {1,9999}'を使用するとパフォーマンスが低下しますが、なぜですか？

ときgrepやsedオプションとともに使用され--extended-regexp、パターンが{1,9999}使用されている正規表現の一部であり、これらのコマンドの性能が低くなります。より明確にするために、以下はいくつかのテストに適用されます。^{[1] [2]}

• 相対性能grep -E、egrepおよびsed -E、で作られたので、唯一のテストはほぼ等しいgrep -Eが設けられています。

テスト1

$ time grep -E '[0-9]{1,99}' < /dev/null

real    0m0.002s

テスト2

$ time grep -E '[0-9]{1,9999}' < /dev/null

> real    0m0.494s

テスト3

$ time grep -E '[0123456789] {1,9999}' </ dev / null

>リアル21分43.947秒

テスト4

$ time grep -E '[0123456789]+' < /dev/null
$ time grep -E '[0123456789]*' < /dev/null
$ time grep -E '[0123456789]{1,}' < /dev/null
$ time grep -P '[0123456789]{1,9999}' < /dev/null

real    0m0.002s       

このパフォーマンスの大きな違いの理由は何ですか？

時間のかかるのはマッチングではなく、REの構築です。また、RAMもかなり使用していることがわかります。

$ valgrind grep -Eo '[0-9]{1,9999}' < /dev/null
==6518== HEAP SUMMARY:
==6518==     in use at exit: 1,603,530,656 bytes in 60,013 blocks
==6518==   total heap usage: 123,613 allocs, 63,600 frees, 1,612,381,621 bytes allocated
$ valgrind grep -Eo '[0-9]{1,99}' < /dev/null
==6578==     in use at exit: 242,028 bytes in 613 blocks
==6578==   total heap usage: 1,459 allocs, 846 frees, 362,387 bytes allocated
$ valgrind grep -Eo '[0-9]{1,999}' < /dev/null
==6594== HEAP SUMMARY:
==6594==     in use at exit: 16,429,496 bytes in 6,013 blocks
==6594==   total heap usage: 12,586 allocs, 6,573 frees, 17,378,572 bytes allocated

割り当ての数は反復回数にほぼ比例しているようですが、割り当てられたメモリは指数関数的に増加しているようです。

それは、GNU正規表現がどのように実装されるかにかかっています。を使用してGNU grepをコンパイルしCPPFLAGS=-DDEBUG ./configure && make、それらのコマンドを実行すると、指数関数的な効果が見られます。それよりも深く行くことは、DFAに関する多くの理論を経て、gnulib正規表現の実装に飛び込むことを意味します。

ここでは、同じ問題を抱えていないように見えるPCREを代わりに使用できますgrep -Po '[0-9]{1,65535}'（最大[0-9](?:[0-9]{0,10000}){100}は1から1,000,001回の繰り返しで常に実行できます）は、よりも時間もメモリもかかりませんgrep -Po '[0-9]{1,2}'。