Spark Dataframeで列のコンテンツ全体を表示するにはどうすればよいですか？

Spark-csvを使用してデータをDataFrameにロードしています。簡単なクエリを実行してコンテンツを表示したい：

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

colは切り捨てられているようです：

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

列のコンテンツ全体を表示するにはどうすればよいですか？

results.show(20, false)切り捨てられません。ソースを確認する

を入れた場合results.show(false)、結果は切り捨てられません

他のソリューションは良いです。これらがあなたの目標である場合：

1. 列の切り捨てなし、
2. 行の損失なし、
3. 高速かつ
4. 効率的

これらの2行は便利です...

    df.persist
    df.show(df.count, false) // in Scala or 'False' in Python

永続化することで、カウントと表示の2つのエグゼキュータアクションは、エグゼキュータ内の中間の基本的なデータフレーム構造を使用persistまたはcache維持するときに、より高速かつ効率的になります。永続化とキャッシュの詳細をご覧ください。

以下のコードは、各列で切り捨てずにすべての行を表示するのに役立ちます

df.show(df.count(), False)

results.show(20, False)またはresults.show(20, false) 、Java / Scala / Pythonで実行しているかどうかに応じて

results.show(false) 列の内容全体が表示されます。

メソッドをデフォルトで20に制限して表示し、前falseに数値を追加すると、さらに行が表示されます。

このコマンドを試してください：

df.show(df.count())

results.show(20,false) Scalaで私のためにトリックをしました。

Databricks内では、データフレームを表形式で視覚化できます。コマンドで：

display(results)

それは次のようになります

私はプラグインChrome拡張機能を使用してかなりうまくいきます：

[ https://userstyles.org/styles/157357/jupyter-notebook-wide][1]

これをscalaで試してください：

df.show(df.count.toInt, false)

showメソッドは整数とブール値を受け入れますが、df.countはLong ...を返すため、型キャストが必要です

c＃ Option("truncate", false)では、出力のデータは切り捨てられません。

StreamingQuery query = spark
                    .Sql("SELECT * FROM Messages")
                    .WriteStream()
                    .OutputMode("append")
                    .Format("console")
                    .Option("truncate", false)
                    .Start();

次の回答は、Spark Streamingアプリケーションに適用されます。

「truncate」オプションをfalseに設定すると、列全体を表示するように出力シンクに指示できます。

val query = out.writeStream
          .outputMode(OutputMode.Update())
          .format("console")
          .option("truncate", false)
          .trigger(Trigger.ProcessingTime("5 seconds"))
          .start()