ANTLRを使い始めたいのですが、数時間かけて、 antlr.orgの確認しましたサイトで Javaプロセスの文法を明確に理解できません。
ANTLRで実装された4つの演算の計算機のように、パーサー定義を通過してJavaソースコードに至るまでの簡単な例はありますか?
ANTLRを使い始めたいのですが、数時間かけて、 antlr.orgの確認しましたサイトで Javaプロセスの文法を明確に理解できません。
ANTLRで実装された4つの演算の計算機のように、パーサー定義を通過してJavaソースコードに至るまでの簡単な例はありますか?
回答:
注:この回答はANTLR3向けです!あなたが探しているならANTLR4の例は、このQ&Aは、使用して簡単な式パーサー、および評価を作成する方法を示しANTLR4を。
最初に文法を作成します。以下は、4つの基本的な数学演算子+、-、*、/を使用して構築された式を評価するために使用できる小さな文法です。括弧を使用して式をグループ化することもできます。
この文法は非常に基本的なものにすぎないことに注意してください。2つの欠点を挙げれば、単項演算子(マイナスイン:-1 + 9)や.99などの小数(先行数なし)は処理されません。これは、自分で作業できる例にすぎません。
文法ファイルExp.gの内容は次のとおりです。
grammar Exp;
/* This will be the entry point of our parser. */
eval
: additionExp
;
/* Addition and subtraction have the lowest precedence. */
additionExp
: multiplyExp
( '+' multiplyExp
| '-' multiplyExp
)*
;
/* Multiplication and division have a higher precedence. */
multiplyExp
: atomExp
( '*' atomExp
| '/' atomExp
)*
;
/* An expression atom is the smallest part of an expression: a number. Or
when we encounter parenthesis, we're making a recursive call back to the
rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
: Number
| '(' additionExp ')'
;
/* A number: can be an integer value, or a decimal value */
Number
: ('0'..'9')+ ('.' ('0'..'9')+)?
;
/* We're going to ignore all white space characters */
WS
: (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
;
(パーサールールは小文字で始まり、レクサールールは大文字で始まります)
文法を作成したら、それからパーサーとレクサーを生成します。ANTLR jarをダウンロードして、文法ファイルと同じディレクトリに保存します。
シェル/コマンドプロンプトで次のコマンドを実行します。
java -cp antlr-3.2.jar org.antlr.Tool Exp.g
エラーメッセージは生成されず、ファイルExpLexer.java、ExpParser.javaおよびExp.tokensが生成されます。
すべてが正しく機能するかどうかを確認するには、次のテストクラスを作成します。
import org.antlr.runtime.*;
public class ANTLRDemo {
public static void main(String[] args) throws Exception {
ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
parser.eval();
}
}
そしてそれをコンパイルします:
// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java
// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java
そしてそれを実行します:
// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo
// Windows
java -cp .;antlr-3.2.jar ANTLRDemo
すべてがうまくいけば、コンソールには何も出力されません。これは、パーサーがエラーを検出しなかったことを意味します。あなたは、変更した場合"12*(5-6)"
に"12*(5-6"
て再コンパイルして実行すると、次のように表示されます。
line 0:-1 mismatched input '<EOF>' expecting ')'
さて、パーサーが実際に何か役に立つように、Javaコードを少し文法に追加したいと思います。コードを追加するには、{
}
、文法の中に、その中にプレーンJavaコードを挿入します。
しかし、最初に:文法ファイル内のすべてのパーサールールは、プリミティブdouble値を返す必要があります。returns [double value]
各ルールの後に追加することでそれを行うことができます:
grammar Exp;
eval returns [double value]
: additionExp
;
additionExp returns [double value]
: multiplyExp
( '+' multiplyExp
| '-' multiplyExp
)*
;
// ...
説明はほとんど必要ありません。すべてのルールはdouble値を返すことが期待されています。ここで、コードブロック内からの戻り値double value
(プレーンなJavaコードブロック内ではない)と「相互作用」するには{...}
、の前にドル記号を追加する必要がありますvalue
。
grammar Exp;
/* This will be the entry point of our parser. */
eval returns [double value]
: additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
;
// ...
文法は次のとおりですが、Javaコードが追加されています。
grammar Exp;
eval returns [double value]
: exp=additionExp {$value = $exp.value;}
;
additionExp returns [double value]
: m1=multiplyExp {$value = $m1.value;}
( '+' m2=multiplyExp {$value += $m2.value;}
| '-' m2=multiplyExp {$value -= $m2.value;}
)*
;
multiplyExp returns [double value]
: a1=atomExp {$value = $a1.value;}
( '*' a2=atomExp {$value *= $a2.value;}
| '/' a2=atomExp {$value /= $a2.value;}
)*
;
atomExp returns [double value]
: n=Number {$value = Double.parseDouble($n.text);}
| '(' exp=additionExp ')' {$value = $exp.value;}
;
Number
: ('0'..'9')+ ('.' ('0'..'9')+)?
;
WS
: (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
;
当社のでeval
、ルールは今、二重返し、これにあなたのANTLRDemo.javaを変更します。
import org.antlr.runtime.*;
public class ANTLRDemo {
public static void main(String[] args) throws Exception {
ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
System.out.println(parser.eval()); // print the value
}
}
もう一度(再)文法から新しいレクサーとパーサーを生成し(1)、すべてのクラスをコンパイルし(2)、ANTLRDemoを実行します(3)。
// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java // 2
java -cp .:antlr-3.2.jar ANTLRDemo // 3
// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java // 2
java -cp .;antlr-3.2.jar ANTLRDemo // 3
すると12*(5-6)
、コンソールに出力された式の結果が表示されます。
繰り返しますが、これは非常に簡単な説明です。ANTLR wikiを閲覧していくつかのチュートリアルを読んだり、投稿した内容で少し遊んだりすることをお勧めします。
幸運を!
編集:
この投稿は、上記の例を拡張Map<String, Double>
して、提供された式の変数を保持するa を提供できるようにする方法を示しています。
このコードを現在のバージョンのAntlr(2014年6月)で動作させるには、いくつか変更を加える必要がありました。ANTLRStringStream
になる必要がANTLRInputStream
あり、戻り値はからに変更parser.eval()
するparser.eval().value
必要があり、のWS
ような属性値$channel
はレクサーアクションに表示されなくなったため、最後に句を削除する必要がありました。
eval
はを返すパーサールールdouble
です。だから、そこにあるeval()
あなたがのインスタンス上で呼び出すことができる方法ExpParser
私はで実証同じように、ANTLRDemo.main(...)
。レクサー/パーサーを生成した後、ファイルExpParser.java
を開くだけで、eval()
を返すメソッドがあることがわかりますdouble
。
Gabriele TomassettiによるANTLRメガチュートリアルは非常に役立ちます
文法の例、さまざまな言語(Java、JavaScript、C#、Python)での訪問者の例など、さまざまなものが含まれています。強くお勧めします。
編集:ANTLRに関するGabriele Tomassettiによる他の有用な記事
でhttps://github.com/BITPlan/com.bitplan.antlrあなたはいくつかの有用なヘルパークラスといくつかの完全な例でANTLR Javaライブラリを見つけることができます。Mavenで使用する準備ができています。EclipseやMavenが好きな場合は、
https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/exp/Exp.g4
乗算および加算演算を実行できる単純な式言語です。 https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestExpParser.javaは、それに対応する単体テストがあります。
https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/iri/IRIParser.g4は、3つの部分に分割されたIRIパーサーです。
https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIRIParser.java は、ユニットテストがあります。
個人的には、これを正しく理解するのが最も難しい部分だと思いました。http://wiki.bitplan.com/index.php/ANTLR_maven_pluginを参照してください
https://github.com/BITPlan/com.bitplan.antlr/tree/master/src/main/antlr4/com/bitplan/expr
には、以前のバージョンのANTLR4のパフォーマンスの問題のために作成された3つの例が含まれています。当面の間、テストケースhttps://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIssue994.javaが示すように、この問題は修正されました。
バージョン4.7.1は少し異なりました:インポートの場合:
import org.antlr.v4.runtime.*;
メインセグメント-CharStreamsに注意してください。
CharStream in = CharStreams.fromString("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);