Spark SQLで列を降順に並べ替える方法は？

試しましたdf.orderBy("col1").show(10)が、昇順でソートしました。df.sort("col1").show(10)また、降順で並べ替えます。私はstackoverflowを調べましたが、見つかった回答はすべて古くなっているか、RDDと呼ばれていました。スパークでネイティブデータフレームを使用したいと思います。

また、spark sql関数をインポートして列をソートすることもできます

import org.apache.spark.sql.functions._
df.orderBy(asc("col1"))

または

import org.apache.spark.sql.functions._
df.sort(desc("col1"))

sqlContext.implicits._のインポート

import sqlContext.implicits._
df.orderBy($"col1".desc)

または

import sqlContext.implicits._
df.sort($"col1".desc)

それorg.apache.spark.sql.DataFrameはsortメソッドの中にあります：

df.sort($"col1", $"col2".desc)

注$および.desc内部sortで結果をソートする列の。

PySparkのみ

PySparkで同じことをしようとしたときに、この投稿に出くわしました。最も簡単な方法は、パラメーターascending = Falseを追加することです。

df.orderBy("col1", ascending=False).show(10)

リファレンス：http : //spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.DataFrame.orderBy

import org.apache.spark.sql.functions.desc

df.orderBy(desc("columnname1"),desc("columnname2"),asc("columnname3"))

df.sort($"ColumnName".desc).show()

Javaの場合：

を使用するとDataFrames、結合（ここでは内部結合）を適用しているときに、各DF内の個別の要素を次のように選択した後で（ASCで）ソートできます。

Dataset<Row> d1 = e_data.distinct().join(s_data.distinct(), "e_id").orderBy("salary");

ここe_idで、ASCで給与によってソートされているときに結合が適用される列です。

また、Spark SQLを次のように使用できます。

SQLContext sqlCtx = spark.sqlContext();
sqlCtx.sql("select * from global_temp.salary order by salary desc").show();

どこ

• spark-> SparkSession
• 給与-> GlobalTempビュー。