タグ付けされた質問 「lexer」

レクサーとパーサーは、理論的には本当に違いますか？ 正規表現を嫌うのはおしゃれなようです。コーディングホラー、別のブログ投稿。 ただし、人気のある字句ベースのツールであるpygments、geshi、またはprettifyはすべて正規表現を使用します。彼らは何かを語っているようです... 字句解析が十分な場合、EBNFはいつ必要ですか？ これらのレクサーによって生成されたトークンをバイソンまたはアントラーパーサージェネレーターで使用した人はいますか？

308 parsing  antlr  lexer  pygments 

「トークン化」、「パーサー」、「レクサー」とは何か、それらが互いにどのように関連しているのか（パーサーがトークナイザーを使用するか、その逆など）の明確な定義を探しています。データの宣言と定義を抽出するためにc / hソースファイルを処理するプログラムを作成する必要があります。 私は例を探していて、いくつかの情報を見つけることができますが、文法規則、解析ツリー、抽象構文ツリーなどの基本的な概念と、それらがどのように相互に関連するかを理解するのに本当に苦労しています。最終的にこれらの概念は実際のプログラムに格納する必要がありますが、1）それらはどのように見えるか、2）一般的な実装があります。 LexやYaccのようなこれらのトピックやプログラムについてウィキペディアを見てきましたが、コンパイラークラス（EEメジャー）を一度も経験したことがないので、何が起こっているのかを完全に理解するのは難しいと感じています。

151 parsing  lexer  tokenize 

レクサーの書き方を学びたいです。私の大学のコースには、パーサー（およびそれに合わせてレクサー）を作成する必要があるという課題がありましたが、これは（マークを超えて）指示やフィードバックなしで私たちに与えられたので、私はそれからあまり学びませんでした。 このトピックを検索した後、私は自分がいる場所よりも数歩進んでいると感じる分野に焦点を当てたかなり高度な記事しか見つけることができません。より複雑な言語のトークン化を調査するための基礎として使用できる、非常に単純な言語の字句解析プログラムの作成の基本について説明したいと思います。 この段階では、ベストプラクティスや最適化手法にはあまり興味がありませんが、代わりに基本事項に焦点を当てることを好みます。私を始めるための良いリソースは何ですか？

86 language-agnostic  lexer  compiler-construction