最初にDFAに変換する代わりにNFAを直接使用する実際のレクサーはありますか？

私はコンパイラでCourseraクラスを受講していますが、レクサーに関するレッスンでは、非決定性有限オートマトン（NFA）を使用して正規表現を解析する間に、決定論的有限オートマトン（DFA）との間に時空間トレードオフがあることを示唆しています。私が正しく理解している場合、トレードオフはNFAが小さいことですが、すべての可能な状態を同時に考慮する必要があるため、ほとんどの場合DFAに変換されるため、トラバースに時間がかかります。「実際の」生活でDFAの代わりにNFAを使用するレクサー、つまり、単なる概念実証ではなく、本番環境で使用されるコンパイラーはありますか？

最小化されたDFAの代わりにNFA（またはそれを書き留めずにそのパワーオートマトン）を使用する2つのアプリケーションのみが表示されます。

1. ホモイコニック言語、レクサーを頻繁に変更する必要がある場合

2. DFAを爆破するような奇妙な構文

   identifier := [a-z][a-z0-9_]*
   indices := [0-9_]{1,256} //up to 256 times
   var := identifier "_" indices | identifier
   

   最後のルールを優先する場合、レクサーは、最後の256シンボル内に識別子に「_」が含まれているかどうかを確認し、この場合は短くする必要があります。

コンパイルされた字句解析器は、NFAをDFAにコンパイルします。

グッドは解釈メモ化でNFAをシミュレートし、一方で、トンプソンのアルゴリズムを使用して、正規表現マッチャーを。これは、NFAをDFAにコンパイルするのと同じですが、DFA状態が必要な場合にのみ、オンデマンドで生成します。各ステップでの確定的状態は一連のNFA状態であり、次の入力文字を指定すると、新しい一連のNFA状態に移行します。以前に確認した状態とその出力遷移をハッシュテーブルにキャッシュします。ハッシュテーブルは、いっぱいになるとフラッシュされ、無限に大きくなることはありません。

この方法で行う理由は、NFAをDFAに変換すると、正規表現のサイズが指数関数的に増加する可能性があるためです。正規表現を1回だけ評価する場合、これは確かにしたいことではありません。

RE2は、Thompsonのアルゴリズムを（本質的に）使用する正規表現エンジンの例です。詳細を知りたい場合は、RE2の作者であるRuss Coxによる素晴らしいブログ投稿をお勧めします（多くの履歴情報や正規表現検索へのさまざまなアプローチの実験的比較など）。

また、「GNU grepが高速である理由」メールチェーンを強くお勧めします。レッスン1は次のとおりです。正規表現検索の一般的なケースは単純な文字列検索なので、特別なケースはアルゴリズムです。

彼らがそうした場合、私は驚かれることでしょう。レクサーの構築は1回（うまくいけば）実行され、結果は数百万回使用されます（中規模のソースファイルにトークンがいくつあるかを考えてください）。したがって、非常に異常な状況でない限り、レクサーをできるだけ高速に（そして他のリソースを質素に）すること、つまり最小限のDFAを採用することは報われます。

厳密な正式な意味では、違います。理論/数学的な意味での非決定性により、マシンは、入力の先を見ることなく、最終的に受け入れ状態になるかどうかに基づいて計算パスを選択できます。したがって、この厳密な意味では、これは理論的な検討にのみ適しているプロパティであり、実際の非決定的マシンなどはありません。この場合、特に、将来を見通すことができない限り、実際にNFAを構築することはできません。この才能を備えたコンパイラを構築するのは少し無駄です！;）。

ただし、非決定性と非決定性は、漠然と定義された弱い意味で使用されることがよくあります。時々それはランダム化/確率論を意味するかもしれません-アルゴリズムはコインを裏返す、正式な設定ではこれは確率論的/ランダム化アルゴリズムとして研究され、非決定論とは呼ばれません。別の用途は、同じ入力で2回実行した場合に同じ出力を必ずしも生成しないアルゴリズムです。ランダムではないかもしれませんが、動作の一部が指定されていないため、いくつかの有効な出力がある可能性があります（個人的には定義は混乱から来て来ていないが -determinedと非 -deterministic。

それでも、原則として、これらの弱い非公式な感覚の1つで非決定的であるレクサーを作成できますが、それはNFA（厳密な正式なマシンモデル）ではなく、クラッシュになるとは想像できません。ホットアイデアのいずれか-レクサーは非常に予測可能である必要があります。

最後のオプションは、バックトラッキングまたは並列処理を介して非決定論をシミュレートできることですが、この場合、非決定論の見かけの効率が失われます。 DFAよりもオフ。