3
レクサーがそのパーサーに返すトークンのデータ型は何ですか？
タイトルで述べたように、レクサーはどのデータ型をパーサーに返す/与える必要がありますか？ウィキペディアが持っている字句解析の記事を読んだとき、それは次のように述べました： コンピュータサイエンスでは、字句解析とは、一連の文字（コンピュータプログラムやWebページなど）を一連のトークン（識別された「意味」を持つ文字列）に変換するプロセスです。 しかし、上記の声明と完全に矛盾して、別のサイトで質問した別の質問（好奇心があればコードレビュー）が回答されたとき、回答者は次のように述べました： 字句解析プログラムは通常、文字列を読み取り、これを語彙素のストリームに変換します。語彙素は数字のストリームである必要があります。 そして彼はこの視覚を与えました： nl_output => 256 output => 257 <string> => 258 後の記事で彼はFlex、既存のレクサーについて言及し、それを使って「ルール」を書くほうが、レクサーを手で書くよりも簡単だと言った。彼は私にこの例を与え始めました： Space [ \r\n\t] QuotedString "[^"]*" %% nl_output {return 256;} output {return 257;} {QuotedString} {return 258;} {Space} {/* Ignore */} . {error("Unmatched character");} %% 私の洞察を深め、より多くの情報を得るために、WikipediaのFlexに関する記事を読みました。Flexの記事では、トークンを使用して、次の方法で一連の構文規則を定義できることが示されました。 digit [0-9] letter [a-zA-Z] %% "+" { return PLUS; } "-" …
21
data-types
lexer
flex