ANTLR:簡単な例はありますか?


230

ANTLRを使い始めたいのですが、数時間かけて、 antlr.orgの確認しましたサイトで Javaプロセスの文法を明確に理解できません。

ANTLRで実装された4つの演算の計算機のように、パーサー定義を通過してJavaソースコードに至るまでの簡単な例はありますか?


2
その正確な例は、Antlrのサイトでチュートリアルとして使用されています。
Cory Petosky、2009

1
@Cory Petosky:リンクを提供できますか?
Eli

ANTLRのビデオチュートリアルの最初の部分を投稿しました。javadude.com/articles/antlr3xtutを参照してください。
スコットスタンフィールド

2
私もあなたの検索を共有します。
Paul Draper

1
ANTLR 4の最良の答えは、Parrの本「The Definitive ANTLR 4 Reference」を購入することです。
james.garriss

回答:


448

:この回答はANTLR3向けです!あなたが探しているならANTLR4の例は、このQ&Aは、使用して簡単な式パーサー、および評価を作成する方法を示しANTLR4を


最初に文法を作成します。以下は、4つの基本的な数学演算子+、-、*、/を使用して構築された式を評価するために使用できる小さな文法です。括弧を使用して式をグループ化することもできます。

この文法は非常に基本的なものにすぎないことに注意してください。2つの欠点を挙げれば、単項演算子(マイナスイン:-1 + 9)や.99などの小数(先行数なし)は処理されません。これは、自分で作業できる例にすぎません。

文法ファイルExp.gの内容は次のとおりです。

grammar Exp;

/* This will be the entry point of our parser. */
eval
    :    additionExp
    ;

/* Addition and subtraction have the lowest precedence. */
additionExp
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

/* Multiplication and division have a higher precedence. */
multiplyExp
    :    atomExp
         ( '*' atomExp 
         | '/' atomExp
         )* 
    ;

/* An expression atom is the smallest part of an expression: a number. Or 
   when we encounter parenthesis, we're making a recursive call back to the
   rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
    :    Number
    |    '(' additionExp ')'
    ;

/* A number: can be an integer value, or a decimal value */
Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

/* We're going to ignore all white space characters */
WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

(パーサールールは小文字で始まり、レクサールールは大文字で始まります)

文法を作成したら、それからパーサーとレクサーを生成します。ANTLR jarをダウンロードして、文法ファイルと同じディレクトリに保存します。

シェル/コマンドプロンプトで次のコマンドを実行します。

java -cp antlr-3.2.jar org.antlr.Tool Exp.g

エラーメッセージは生成されず、ファイルExpLexer.javaExpParser.javaおよびExp.tokensが生成されます。

すべてが正しく機能するかどうかを確認するには、次のテストクラスを作成します。

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        parser.eval();
    }
}

そしてそれをコンパイルします:

// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java

// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java

そしてそれを実行します:

// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo

// Windows
java -cp .;antlr-3.2.jar ANTLRDemo

すべてがうまくいけば、コンソールには何も出力されません。これは、パーサーがエラーを検出しなかったことを意味します。あなたは、変更した場合"12*(5-6)""12*(5-6"て再コンパイルして実行すると、次のように表示されます。

line 0:-1 mismatched input '<EOF>' expecting ')'

さて、パーサーが実際に何か役に立つように、Javaコードを少し文法に追加したいと思います。コードを追加するには、{}、文法の中に、その中にプレーンJavaコードを挿入します。

しかし、最初に:文法ファイル内のすべてのパーサールールは、プリミティブdouble値を返す必要があります。returns [double value]各ルールの後に追加することでそれを行うことができます:

grammar Exp;

eval returns [double value]
    :    additionExp
    ;

additionExp returns [double value]
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

// ...

説明はほとんど必要ありません。すべてのルールはdouble値を返すことが期待されています。ここで、コードブロック内からの戻り値double value(プレーンなJavaコードブロック内ではない)と「相互作用」するには{...}、の前にドル記号を追加する必要がありますvalue

grammar Exp;

/* This will be the entry point of our parser. */
eval returns [double value]                                                  
    :    additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
    ;

// ...

文法は次のとおりですが、Javaコードが追加されています。

grammar Exp;

eval returns [double value]
    :    exp=additionExp {$value = $exp.value;}
    ;

additionExp returns [double value]
    :    m1=multiplyExp       {$value =  $m1.value;} 
         ( '+' m2=multiplyExp {$value += $m2.value;} 
         | '-' m2=multiplyExp {$value -= $m2.value;}
         )* 
    ;

multiplyExp returns [double value]
    :    a1=atomExp       {$value =  $a1.value;}
         ( '*' a2=atomExp {$value *= $a2.value;} 
         | '/' a2=atomExp {$value /= $a2.value;}
         )* 
    ;

atomExp returns [double value]
    :    n=Number                {$value = Double.parseDouble($n.text);}
    |    '(' exp=additionExp ')' {$value = $exp.value;}
    ;

Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

当社のでeval、ルールは今、二重返し、これにあなたのANTLRDemo.javaを変更します。

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        System.out.println(parser.eval()); // print the value
    }
}

もう一度(再)文法から新しいレクサーとパーサーを生成し(1)、すべてのクラスをコンパイルし(2)、ANTLRDemoを実行します(3)。

// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .:antlr-3.2.jar ANTLRDemo            // 3

// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .;antlr-3.2.jar ANTLRDemo            // 3

すると12*(5-6)、コンソールに出力された式の結果が表示されます。

繰り返しますが、これは非常に簡単な説明です。ANTLR wikiを閲覧していくつかのチュートリアルを読んだり、投稿した内容で少し遊んだりすることをお勧めします。

幸運を!

編集:

この投稿は、上記の例を拡張Map<String, Double>して、提供された式の変数を保持するa を提供できるようにする方法を示しています。

このコードを現在のバージョンのAntlr(2014年6月)で動作させるには、いくつか変更を加える必要がありました。ANTLRStringStreamになる必要がANTLRInputStreamあり、戻り値はからに変更parser.eval()するparser.eval().value必要があり、のWSような属性値$channelはレクサーアクションに表示されなくなったため、最後に句を削除する必要がありました。


1
の実装はどこでparser.eval()起こりますか?ここやANTLR3 Wikiでは明確ではありません!

1
@Jarrod、エラー、申し訳ありません、私は本当にあなたを理解していません。evalはを返すパーサールールdoubleです。だから、そこにあるeval()あなたがのインスタンス上で呼び出すことができる方法ExpParser私はで実証同じように、ANTLRDemo.main(...)。レクサー/パーサーを生成した後、ファイルExpParser.javaを開くだけで、eval()を返すメソッドがあることがわかりますdouble
Bart Kiers、2011年

@Bart私はこれを1週間研究してきました-これは、実際に詳細かつ初めて機能するのに十分であり、私が理解していると思う最初の例です。私はほとんどあきらめていました。ありがとう!
Vineel Shah 2014

13

Gabriele TomassettiによるANTLRメガチュートリアルは非常に役立ちます

文法の例、さまざまな言語(Java、JavaScript、C#、Python)での訪問者の例など、さまざまなものが含まれています。強くお勧めします。

編集:ANTLRに関するGabriele Tomassettiによる他の有用な記事


素晴らしいチュートリアル!
Manish Patel

Antlrには、ターゲット言語としてcppも含まれています。cppの例を含むチュートリアルはありますか?
vineeshvs

同じ人がC ++でANTLRのチュートリアルを作成しましたtomassetti.me/getting-started-antlr-cpp探しているものがここまたはメガチュートリアルで見つかると思います
ソロ

7

Antlr 4の場合、Javaコード生成プロセスは以下のとおりです。

java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool Exp.g

それに応じて、クラスパスのjar名を更新します。


2

https://github.com/BITPlan/com.bitplan.antlrあなたはいくつかの有用なヘルパークラスといくつかの完全な例でANTLR Javaライブラリを見つけることができます。Mavenで使用する準備ができています。EclipseやMavenが好きな場合は、

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/exp/Exp.g4

乗算および加算演算を実行できる単純な式言語です。 https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestExpParser.javaは、それに対応する単体テストがあります。

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/iri/IRIParser.g4は、3つの部分に分割されたIRIパーサーです。

  1. パーサー文法
  2. レクサー文法
  3. インポートされたLexBasic文法

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIRIParser.java は、ユニットテストがあります。

個人的には、これを正しく理解するのが最も難しい部分だと思いました。http://wiki.bitplan.com/index.php/ANTLR_maven_pluginを参照してください

https://github.com/BITPlan/com.bitplan.antlr/tree/master/src/main/antlr4/com/bitplan/expr

には、以前のバージョンのANTLR4のパフォーマンスの問題のために作成された3つの例が含まれています。当面の間、テストケースhttps://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIssue994.javaが示すように、この問題は修正されました。


2

バージョン4.7.1は少し異なりました:インポートの場合:

import org.antlr.v4.runtime.*;

メインセグメント-CharStreamsに注意してください。

CharStream in = CharStreams.fromString("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.