3
Apache Spark:マップvs mapPartitions?
RDD mapとmapPartitionsメソッドの違いは何ですか?そして、のようにflatMap動作しますか?ありがとう。mapmapPartitions (編集)つまり、(意味的にまたは実行に関して)違いは何ですか def map[A, B](rdd: RDD[A], fn: (A => B)) (implicit a: Manifest[A], b: Manifest[B]): RDD[B] = { rdd.mapPartitions({ iter: Iterator[A] => for (i <- iter) yield fn(i) }, preservesPartitioning = true) } そして: def map[A, B](rdd: RDD[A], fn: (A => B)) (implicit a: Manifest[A], b: Manifest[B]): RDD[B] = …