Java:PreparedStatementを使用してMySQLに複数の行を挿入する


87

Javaを使用して、MySQLテーブルに複数の行を一度に挿入したい。行数は動的です。昔は…

for (String element : array) {
    myStatement.setString(1, element[0]);
    myStatement.setString(2, element[1]);

    myStatement.executeUpdate();
}

MySQLがサポートする構文を使用するようにこれを最適化したいと思います。

INSERT INTO table (col1, col2) VALUES ('val1', 'val2'), ('val1', 'val2')[, ...]

しかし、PreparedStatement私はこれを行う方法を知らないので、要素arrayがいくつ含まれるかは事前にわかりません。でそれが不可能な場合PreparedStatement、他にどのようにしてそれを行うことができますか(そして配列の値をエスケープしますか)?

回答:


175

でバッチを作成し、PreparedStatement#addBatch()で実行できますPreparedStatement#executeBatch()

以下はキックオフの例です。

public void save(List<Entity> entities) throws SQLException {
    try (
        Connection connection = database.getConnection();
        PreparedStatement statement = connection.prepareStatement(SQL_INSERT);
    ) {
        int i = 0;

        for (Entity entity : entities) {
            statement.setString(1, entity.getSomeProperty());
            // ...

            statement.addBatch();
            i++;

            if (i % 1000 == 0 || i == entities.size()) {
                statement.executeBatch(); // Execute every 1000 items.
            }
        }
    }
}

一部のJDBCドライバーやDBはバッチの長さに制限があるため、1000アイテムごとに実行されます。

また見なさい


26
あなたが取引...つまりとラップでそれらを置けばあなたのインサートは、より速く行くconnection.setAutoCommit(false);connection.commit(); download.oracle.com/javase/tutorial/jdbc/basics/...
ジョシュア・マーテル

1
999個のアイテムがある場合、空のバッチを実行できるようです。
djechlin 2013年

2
@electricalbah正常に実行される理由i == entities.size()
Yohanes AI 2017

これは、準備済みステートメントを使用してバッチジョブをまとめる別の優れたリソースです。viralpatel.net/blogs/batch-insert-in-java-jdbc
Danny

1
@AndréPaulo:プリペアドステートメントに適したSQL INSERTのみ。基本的な例については、JDBCチュートリアルのリンクを参照してください。これは具体的な質問とは関係ありません。
BalusC

30

MySQLドライバーを使用する場合は、接続パラメーターrewriteBatchedStatementsをtrue に設定する必要があります( jdbc:mysql://localhost:3306/TestDB?**rewriteBatchedStatements=true**)

このパラメーターを使用すると、テーブルが1回だけロックされ、インデックスが1回だけ更新されたときに、ステートメントが一括挿入に書き換えられます。そのため、はるかに高速です。

このパラメーターがないと、ソースコードがより簡潔になります。


これは、構築のパフォーマンスに関するコメントです。statement.addBatch(); if((i + 1)%1000 == 0){statement.executeBatch(); // 1000アイテムごとに実行します。}
MichalSv 2014年

どうやらMySQLドライバーにはバグbugs.mysql.com/bug.php?id=71528があるようですこれにより、Hibernate hibernate.atlassian.net/browse/HHH-9134
Shailendra

はい。これも今のところ正しいです。少なくとも5.1.45mysqlコネクタバージョンの場合。
v.ladynev 2018

<artifactId> mysql-connector-java </ artifactId> <version> 8.0.14 </ version>チェックしたところ、8.0.14が正しいことが確認されました。追加しrewriteBatchedStatements=trueないと、パフォーマンスは向上しません。
vincent mathew、

7

SQLステートメントを動的に作成できる場合は、次の回避策を実行できます。

String myArray[][] = { { "1-1", "1-2" }, { "2-1", "2-2" }, { "3-1", "3-2" } };

StringBuffer mySql = new StringBuffer("insert into MyTable (col1, col2) values (?, ?)");

for (int i = 0; i < myArray.length - 1; i++) {
    mySql.append(", (?, ?)");
}

myStatement = myConnection.prepareStatement(mySql.toString());

for (int i = 0; i < myArray.length; i++) {
    myStatement.setString(i, myArray[i][1]);
    myStatement.setString(i, myArray[i][2]);
}
myStatement.executeUpdate();

受け入れられた答えははるかに良いと思います!! 私はバッチ更新について知りませんでした、そして私がこの回答を書き始めたとき、その回答はまだ提出されていませんでした!!! :)
Ali Shakiba

このアプローチは、受け入れられているアプローチよりもはるかに高速です。私はそれをテストしましたが、理由はわかりません。@JohnSなぜだか分かりますか?
julian0zzx

@ julian0zzxいいえ、多分それは複数ではなく単一のsqlとして実行されるためです。確信はないけど。
Ali Shakiba

3

テーブルに自動インクリメントがあり、それにアクセスする必要がある場合..次のアプローチを使用できます...使用するドライバーに依存するため、StatementのgetGeneratedKeys()を使用する前にテストしてください。以下のコードは、Maria DB 10.0.12およびMaria JDBCドライバー1.2でテストされています

バッチサイズを増やすと、パフォーマンスがある程度向上することを覚えておいてください。私のセットアップでは、バッチサイズを500より大きくすると、実際にパフォーマンスが低下しました。

public Connection getConnection(boolean autoCommit) throws SQLException {
    Connection conn = dataSource.getConnection();
    conn.setAutoCommit(autoCommit);
    return conn;
}

private void testBatchInsert(int count, int maxBatchSize) {
    String querySql = "insert into batch_test(keyword) values(?)";
    try {
        Connection connection = getConnection(false);
        PreparedStatement pstmt = null;
        ResultSet rs = null;
        boolean success = true;
        int[] executeResult = null;
        try {
            pstmt = connection.prepareStatement(querySql, Statement.RETURN_GENERATED_KEYS);
            for (int i = 0; i < count; i++) {
                pstmt.setString(1, UUID.randomUUID().toString());
                pstmt.addBatch();
                if ((i + 1) % maxBatchSize == 0 || (i + 1) == count) {
                    executeResult = pstmt.executeBatch();
                }
            }
            ResultSet ids = pstmt.getGeneratedKeys();
            for (int i = 0; i < executeResult.length; i++) {
                ids.next();
                if (executeResult[i] == 1) {
                    System.out.println("Execute Result: " + i + ", Update Count: " + executeResult[i] + ", id: "
                            + ids.getLong(1));
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
            success = false;
        } finally {
            if (rs != null) {
                rs.close();
            }
            if (pstmt != null) {
                pstmt.close();
            }
            if (connection != null) {
                if (success) {
                    connection.commit();
                } else {
                    connection.rollback();
                }
                connection.close();
            }
        }
    } catch (SQLException e) {
        e.printStackTrace();
    }
}

3

@Ali Shakibaコードを変更する必要があります。エラー部分:

for (int i = 0; i < myArray.length; i++) {
     myStatement.setString(i, myArray[i][1]);
     myStatement.setString(i, myArray[i][2]);
}

更新されたコード:

String myArray[][] = {
    {"1-1", "1-2"},
    {"2-1", "2-2"},
    {"3-1", "3-2"}
};

StringBuffer mySql = new StringBuffer("insert into MyTable (col1, col2) values (?, ?)");

for (int i = 0; i < myArray.length - 1; i++) {
    mySql.append(", (?, ?)");
}

mysql.append(";"); //also add the terminator at the end of sql statement
myStatement = myConnection.prepareStatement(mySql.toString());

for (int i = 0; i < myArray.length; i++) {
    myStatement.setString((2 * i) + 1, myArray[i][1]);
    myStatement.setString((2 * i) + 2, myArray[i][2]);
}

myStatement.executeUpdate();

これは、回答全体ではるかに高速で優れたアプローチです。これは受け入れられる答えになるはずです
Arun Shankar

1
受け入れられた回答で述べたように、一部のJDBCドライバー/データベースでは、INSERTステートメントに含めることができる行数に制限があります。上記の例の場合、myArrayがその制限よりも長い場合、例外が発生します。私の場合、任意の実行で1,000を超える行を更新する可能性があるため、バッチ実行が必要になる1,000行の制限があります。許可されている最大数よりも少ない数を挿入することがわかっている場合、このタイプのステートメントは理論的には問題なく機能します。覚えておくべきこと。
ダニーブリス

明確にするために、上記の回答では、バッチの長さに関するJDBCドライバー/データベースの制限について言及していますが、私が見たように、挿入ステートメントに含まれる行数にも制限がある場合があります。
ダニーブリス

0

JDBCで複数の更新をまとめて送信して、バッチ更新を送信できます。

自動コミットを無効にして、bacthの更新にStatement、PreparedStatement、およびCallableStatementオブジェクトを使用できます。

addBatch()およびexecuteBatch()関数は、すべてのステートメントオブジェクトでBatchUpdateを使用できます。

ここでaddBatch()メソッドは、一連のステートメントまたはパラメーターを現在のバッチに追加します。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.