Pyspark dfからPostgresSQLに5,000万以上を書き込む、最も効率的なアプローチ

数百万のレコードを挿入する最も効率的な方法は、SparkデータフレームからPostgresテーブルに5,000万を挿入することです。私もこれまで成功したバルクコピーとバッチサイズオプションを利用して、これをSparkから MSSQLまで実現しました。

Postgresのためにここにあることができる同様のものはありますか？

私が試したコードとプロセスの実行にかかった時間を追加します：

def inserter():
    start = timer()
    sql_res.write.format("jdbc").option("numPartitions","5").option("batchsize","200000")\
    .option("url", "jdbc:postgresql://xyz.com:5435/abc_db") \
    .option("dbtable", "public.full_load").option("user", "root").option("password", "password").save()
    end = timer()
    print(timedelta(seconds=end-start))
inserter()

したがって、1000万レコードに対して上記のアプローチを実行しnumPartitions、で指定されているように5つの並列接続があり、バッチサイズを200kにしてみました。

プロセスにかかった合計時間は0：14：05.760926（14分5秒）でした。

時間を短縮する他の効率的なアプローチはありますか？

私が使用できる効率的または最適なバッチサイズは何ですか？バッチサイズを大きくすると、作業が速くなりますか？または、複数の接続を開く、つまり5を超えると、プロセスが速くなりますか？

上千万レコードの平均14分悪くないですが、ヘルプにこの質問に答える前にこれをやっているだろうそこに人を探しています。

少し前に実際に同じような作業をしましたが、Apache Sqoopを使用しました。

この質問に答えるためには、SparkとPostgresSQLの間の通信、特にSparkからPostgreSqlに流れるデータを最適化する必要があると思います。

ただし、注意してください。Spark側を忘れないでください。パーティションの数がPostgreSQLがサポートする最大接続数と比較して多すぎる場合はmapPartitionsを実行しても意味がありません。パーティションが多すぎて各パーティションの接続を開いている場合、おそらく次のエラーが発生しますorg.postgresql.util.PSQLException: FATAL: sorry, too many clients already。

挿入プロセスを調整するために、次の手順に従って問題に取り組みます。

• パーティションの数が重要であることを忘れないでください。パーティションの数を確認し、必要な並列接続の数に基づいて調整します。パーティションごとに1つの接続が必要になる場合があるため、ここで説明するようにcoalesce、を確認することをお勧めします。
• postgreSQLインスタンスがサポートしていて、その数を増やしたい接続の最大数を確認してください。
• PostgreSQLにデータを挿入するには、COPYコマンドを使用することをお勧めします。ここでまた、PostgreSQLの挿入をスピードアップする方法については詳述答えです。

最後に、この仕事をするための特効薬はありません。上記のすべてのヒントを使用できますが、それは実際にはデータとユースケースに依存します。