Spark：UDFが何度も実行された

次のコードのデータフレームがあります。

def test(lat: Double, lon: Double) = {
  println(s"testing ${lat / lon}")
  Map("one" -> "one", "two" -> "two")
}

val testUDF = udf(test _)

df.withColumn("test", testUDF(col("lat"), col("lon")))
  .withColumn("test1", col("test.one"))
  .withColumn("test2", col("test.two"))

ログを確認したところ、行ごとにUDFが3回実行されていることがわかりました。「test.three」列から「test3」を追加すると、UDFがもう一度実行されます。

なぜ誰かが私に理由を説明できますか？

これは適切に回避できますか？

udfへの複数の呼び出しを回避したい場合（特にudfがジョブのボトルネックである場合に役立ちます）、次のように実行できます。

val testUDF = udf(test _).asNondeterministic()

基本的には、Sparkに関数が確定的でないことを伝え、Sparkは複数回呼び出すのは安全ではないため、1回だけ呼び出されることを確認します（呼び出しごとに異なる結果が返される可能性があります）。

このトリックは無料ではないことにも注意してください。これを行うと、オプティマイザにいくつかの制約が課されます。これの1つの副作用は、たとえば、Sparkオプティマイザが決定論的でない式を通じてフィルタをプッシュしないため、最適化の責任を負うことになります。クエリ内のフィルターの位置。