RDDの内容を印刷する方法は？

コレクションの内容をSparkコンソールに出力しようとしています。

タイプがあります：

linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3]

そして、私はコマンドを使用します：

scala> linesWithSessionId.map(line => println(line))

しかし、これは印刷されます：

res1：org.apache.spark.rdd.RDD [Unit] =マップされた：19のMappedRDD [4]

RDDをコンソールに書き込んだり、内容を表示できるようにディスクに保存したりするにはどうすればよいですか？

RDDのコンテンツを表示したい場合は、次の方法を使用しますcollect()。

myRDD.collect().foreach(println)

ただし、RDDに数十億行ある場合、これは良い考えではありません。take()印刷に少しだけ使う：

myRDD.take(n).foreach(println)

map関数である変換あなたが実行されるまで、スパークが実際にあなたのRDDを評価しないことを意味し、アクションその上を。

これを印刷するには、次のように使用できますforeach（これはアクションです）。

linesWithSessionId.foreach(println)

ディスクに書き込むにsaveAs...は、RDD APIの関数（まだアクション）の1つを使用できます

これをクラスターで実行している場合printlnは、コンテキストに出力されません。RDDデータをセッションに持ってくる必要があります。これを行うには、強制的にローカル配列にしてから出力します。

linesWithSessionId.toArray().foreach(line => println(line))

あなたは、あなたを変換することができますRDDしDataFrame、その後show()、それ。

// For implicit conversion from RDD to DataFrame
import spark.implicits._

fruits = sc.parallelize([("apple", 1), ("banana", 2), ("orange", 17)])

// convert to DF then show it
fruits.toDF().show()

これにより、データの上位20行が表示されるため、データのサイズは問題になりません。

+------+---+                                                                    
|    _1| _2|
+------+---+
| apple|  1|
|banana|  2|
|orange| 17|
+------+---+

との間にはおそらく多くのアーキテクチャ上の違いがmyRDD.foreach(println)ありますmyRDD.collect().foreach(println)（「収集」だけでなく、他のアクションも）。私が見た違いの1つは、実行myRDD.foreach(println)時に出力がランダムな順序になることです。例：私のrddが各行に番号があるテキストファイルからのものである場合、出力の順序は異なります。しかし、私が行ったときmyRDD.collect().foreach(println)、順序はテキストファイルと同じままです。

Pythonで

   linesWithSessionIdCollect = linesWithSessionId.collect()
   linesWithSessionIdCollect

これにより、RDDのすべてのコンテンツが印刷されます

c.take(10)

そしてSparkの新しいバージョンはテーブルをきれいに表示します。

毎回入力する代わりに、次のことができます。

[1] Spark Shell内で汎用の印刷メソッドを作成します。

def p(rdd: org.apache.spark.rdd.RDD[_]) = rdd.foreach(println)

[2]またはさらに良いことに、暗黙を使用して、関数をRDDクラスに追加し、その内容を印刷できます。

implicit class Printer(rdd: org.apache.spark.rdd.RDD[_]) {
    def print = rdd.foreach(println)
}

使用例：

val rdd = sc.parallelize(List(1,2,3,4)).map(_*2)

p(rdd) // 1
rdd.print // 2

出力：

2
6
4
8

重要

これは、ローカルモードで少量のデータセットを使用している場合にのみ意味があります。そうしないと、データセットの結果が大きいために、クライアントで結果を表示できなくなったり、メモリ不足になったりします。

ファイルとして保存することもできます： rdd.saveAsTextFile("alicia.txt")

Java構文では：

rdd.collect().forEach(line -> System.out.println(line));