正規表現を効率的に照合できる「小さな」マシンはありますか？

30

正規表現は、正規表現に比例するサイズの非決定性有限オートマトン、または潜在的に指数関数的に大きい決定性FAによって認識できることはよく知られています。さらに、文字列 $s$ と正規表現と、NFAは比例してメンバーシップをテストできます、およびDFAは比例してメンバーシップをテストできます。NFAのスローダウンは、本質的にオートマトンが存在する可能性のある状態のセットを追跡する必要があるという事実から生じます。DFAの指数関数的な爆発は、その状態が、 NFA。 $r$ $|s| \cdot |r|$ $|s|$

より強力なマシンの使用を許可する場合、正規表現を効率的に（つまり、よりも良い時間で、よりも良いスペースで）認識できますか有限オートマトンよりも（たとえば、プッシュダウンオートマトンまたはカウンターマシンを使用して通常の言語を認識することで簡潔さが向上しますか？） $O(|r| \cdot |s|)$ $O(2^{|r|})$

fl.formal-languages automata-theory regular-expressions

— ニール・クリシュナスワミ
ソース

2

「NFAは比例してメンバーシップをテストできる」と言うとき、明らかな方法でNFAをシミュレートする（決定論的な）RAMマシンは非常に時間がかかることを意味しますか？または、別の計算モデルを参照しない「NFAの実行時間」を定義する他の方法はありますか？（文字列 NFAの実行時間はあると言う、賢明だがあまり有用ではない定義は別として）

| s | \cdot | r |

$|s|\cdot|r|$

s

$s$

| s |

$|s|$

— ラドゥグリゴール

はい、それは私の質問の正しい解釈です。

— ニールクリシュナスワミ

2

それから私は単純にこれを尋ねるのがより自然なようです：文字列がで機能する正規表現によって定義された言語にあるかどうかを決定するアルゴリズム（RAMマシン上）があります時間とスペース？（特に、RAMマシンの観点からプッシュダウンオートマトンのランタイムを定義する場合。）

s

$s$

r

$r$

o (| s | \cdot | r |)

$o(|s|\cdot|r|)$

o (2^{| r |})

$o(2^{|r|})$

— Radu GRIGore

1

私は問題を正確に理解していません。入力は文字列sと正規表現rであり、問題はsが正規表現rで定義された言語であるかどうかを判断することですか？

— ロビンコタリ

@ロビン：はい、それだけです。より多くの計算能力を使用して、有限オートマトンよりも効率的に正規表現を照合できるか、または追加機能（スタック、RAMなど）が役に立たないかどうかを知りたいと思います。

— ニールクリシュナスワミ

20

次のように、時間とスペースをトレードオフするのは簡単です。

正規表現をNFAに変換します—アルゴリズムの比較を具体的にするために、がNFA状態の数であると仮定します。そのため、NFAを直接シミュレートするため時間は有効で、変換されたDFAを実行するためにバインドされたスペースは、その量のメモリに対応できるRAMで作業している場合にも有効です。 $r$ $O(rs)$ $O(2^r)$

今、に仕切りNFA（任意）の状態を部分集合は、せいぜいのそれぞれを述べています。各サブセット内のは、我々は、インデックスサブセット缶のからの番号でへ。 $k$ $S_i$ $\lceil r/k\rceil$ $S_i$ $A_i$ $S_i$ $0$ $2^{\lceil r/k\rceil}-1$

テーブルここで、とは範囲にあり、は入力シンボルであり、はサブセット（の数値インデックス）です。。テーブルに格納される値は、サブセット（数値インデックス）です。状態は、次の場合にのみあります $T[i,j,c,A_i]$ $i$ $j$ $k-1$ $c$ $A_i$ $S_i$ $S_j$ $y$ $T[i,j,c,A_i]$ は属し、入力シンボルに遷移する状態がにあります。 $y$ $S_j$ $A_i$ $y$ $c$

NFAをシミュレートするには、各 1つのインデックスを維持し、入力のプレフィックスによって到達できるの状態のサブセットを指定します。各入力シンボルについて、テーブルを使用して、各ペア、遷移によって状態から到達できるの状態のセットを検索し、ビット単位のバイナリまたはこれらの状態のセットの数値インデックスを操作して、それらをの状態の単一のサブセットに結合する $k$ $S_i$ $A_i$ $S_i$ $c$ $i,j$ $S_j$ $A_i$ $c$ $S_j$ 。したがって、シミュレーションの各ステップには時間がかかり、シミュレーションの合計時間はです。 $O(k^2)$ $O(sk^2)$

必要なスペースは、すべてのテーブルのスペースであり、です。時間と空間の分析は、その量のメモリをアドレス指定でき、その量のメモリをアドレス指定するのに十分な大きさのワードに対してバイナリ演算を実行できるRAMで有効です。 $O(k^2 2^{r/k})$

これから得られる時間と空間のトレードオフは、 2次依存性のため、NFAシミュレーションと完全には一致しません。しかし、その後、私はがNFAシミュレーションの適切な時間制限であることに懐疑的です：現在から許可されているすべての（おそらく二次的に）遷移を見るよりも速くNFAの単一ステップをどのようにシミュレートしますかアクティブ状態から別の状態へ？いけませんか？ $k$ $O(rs)$ $O(r^2 s)$

いずれの場合でも、変化させることで、DFAよりも少ないスペースで、DFAとNFAの境界の間の連続体に時間の境界を取得できます。 $k$

— デビッド・エップスタイン
ソース

あなたの訂正は正しいと思います。あなたの答えは私の質問に答えます。しかし、私が尋ねたい質問は、追加の計算能力がどれだけ役立つかということです。（たとえば、カウンターを使用すると、O（1）スペースの文字列

に一致させることができます。）気にしない場合は、その質問に対する回答を少しでも長く開いて、その答えを知っている人がいるかどうかを確認します。 ...

a^{k}

$a^k$

— ニールクリシュナスワミ

@Neel：DavidのソリューションがRAMマシンでできる限り最高の場合、スタック、カウンターなどは役に立ちません。（しかし、もちろん、彼は上限のみを与え、下限は与えませんでした。）

— ラドゥグリゴール

1

私の知る限り、私のソリューションは「追加のパワー」を使用しています。これは、DFAまたはNFAモデルでは利用できないテーブル検索と整数インデックスに基づいています。だから、質問のその部分にどのように答えていないのか、本当に理解していない。

— デビッドエップシュタイン

これをパラメータ化する別の方法を次に示します。私たちは、ワード幅とRAMのマシン上にあると仮定

ところ、

。次に、NFAシミュレーションには

時間と

スペースが必要です。DFAのシミュレーションができない場合は

（足りないスペース利用可能）。この回答セットで構成

及びかかる

w

$w$

w \geq \lg r

$w \ge \lg r$

O (s r^{2})

$O(s r^2)$

O (r / w)

$O(r/w)$

r \geq w

$r \ge w$

k \approx ⌈ r / w ⌉

$k \approx \lceil r/w \rceil$

O (s r^{2} / w^{2})

$O(sr^2/w^2)$

2^{w}

$2^w$

4

これは答えではありませんが、コメントするには長すぎます。提起された質問が理解しにくい理由を説明しようとしています。

デバイスXの計算の複雑さを定義する方法は2つあります。

最初の最も自然な方法は本質的です。入力のサイズnがデバイスの実行時間にどのように影響するかを後で見ることができるように、デバイスXが入力をどのように使用するかを言う必要があります。また、操作（またはステップ）として数えるものを言う必要があります。次に、入力およびカウント操作でデバイスを実行します。

2番目は外因性です。別のデバイスYの計算の複雑さを定義し、次にXのシミュレーターとして機能するようにYをプログラムします。YがXをシミュレートする方法は複数ある場合があるため、最適な方法を使用することになっていることを追加する必要があります。他の言葉でも同じように言ってみましょう：Xは $O(f(n))$ マシンYに実装されたXのシミュレーターが存在する場合、サイズnの入力の時間 $f(n)$ 時間。

たとえば、NFAの本質的な定義では、長さnの文字列を処理するのにnステップかかると述べています。デバイスYとしてRAMマシンを使用する外部定義では、最もよく知られている上限はおそらく David Eppsteinが答えたものであると述べています。（そうでなければ、（1）他の答えで指摘された最良の実用的な実装がより良い代替案を使用しないこと、（2）ここで誰もより良い代替案を示していないことは奇妙です。）厳密に言えば、デバイスXは正規表現です、しかし、NFAは同じサイズであるため、見ているデバイスXであると考えても安全です。

Now, when you use the second kind of definition it makes little sense to ask how restricting the features of device X affects the running time. It does however make sense to ask how restricting the features of device Y affects the running time. Obviously, allowing more powerful machines Y might allow us to simulate X faster. So, if we assume one of the most powerful machines that could be implemented (this rules out nondeterministic machines, for example) and come up with a lower bound $\Omega(f(n))$ , then we know that no less powerful machine could do better.

ですから、ある意味では、あなたが期待できる最良の答えは、NFAをシミュレートするのにある程度の時間がかかるというセルプローブモデルのようなものの証明です。（NFAからDFAへの変換を考慮すると、大きなDFAを書き留める時間が必要なので、メモリだけが問題ではないことに注意してください。）

— ラドゥ・グリゴア
ソース

4

正規表現のマッチングについて新しいことや古いことはないと信じている場合でも、私が長い間出会った中で最も美しい論文の1つをチェックしてください。SFischer、F Huch、およびTによる正規表現のプレイ Wilke、ICFP 2010。

（MMT Chakravartyは、このペーパーを推奨した功績に値します。）

EDIT: The reason why this paper is relevant is that it describes a new technique (based on Glushkov's from the 60ies) that avoids constructing the full NFA (let alone the DFA) corresponding to the RE. What is done instead resembles running a marking algorithm similar to the well-known one for deciding acceptance of a word by an NFA on the syntax tree of the RE. Performance measurements suggest that this is competitive, even with google's recently published re2 library.

— Kai
ソース

A nice paper to read!!

— Hsien-Chih Chang 張顯之

1

Take a look at this article by Russ Cox. It describes an NFA-based approach, first employed by Ken Thompson, by which an input string s can be matched to a regular expression r in time O(|s|.c) and space O(|r|.d), where c and d are upper-bound constants. The article also details a C implementation of the technique.

2

I'm not convinced that's an accurate description of the article. It appears to be building the DFA from the NFA on an as-needed basis and caching the results. But the cache size could be exponential in r.

— David Eppstein