pysparkデータフレームに個別の列値を表示する：python

パンダの代わりのpysparkデータフレームを提案してくださいdf['col'].unique()。

pysparkデータフレーム列にすべての一意の値をリストしたいと思います。

SQLタイプの方法ではありません（registertemplate、次に個別の値のSQLクエリ）。

またgroupby->countDistinct、必要はありません。代わりに、その列の個別の値を確認したいと思います。

次のデータ表現（2つの列、kおよびv、にkは3つのエントリが含まれ、2つは一意）を使用していると仮定します。

+---+---+
|  k|  v|
+---+---+
|foo|  1|
|bar|  2|
|foo|  3|
+---+---+

Pandasデータフレームの場合：

import pandas as pd
p_df = pd.DataFrame([("foo", 1), ("bar", 2), ("foo", 3)], columns=("k", "v"))
p_df['k'].unique()

これはndarray、すなわちを返しますarray(['foo', 'bar'], dtype=object)

「パンダdf ['col']。unique（）のpysparkデータフレームの代替」を要求しました。ここで、次のSparkデータフレームが与えられます。

s_df = sqlContext.createDataFrame([("foo", 1), ("bar", 2), ("foo", 3)], ('k', 'v'))

あなたがしたい場合は、同じスパークからの結果を、すなわちndarray、使用しますtoPandas()：

s_df.toPandas()['k'].unique()

または、ndarray特に必要がなく、列の一意の値のリストが必要な場合k：

s_df.select('k').distinct().rdd.map(lambda r: r[0]).collect()

最後に、次のようにリスト内包表記を使用することもできます。

[i.k for i in s_df.select('k').distinct().collect()]

これは、列の個別の値を取得するのに役立ちます。

df.select('column1').distinct().collect()

.collect()返すことができる値の数に組み込みの制限がないため、これは遅くなる可能性があることに注意してください。.show()代わりに使用するか、.limit(20)前.collect()に追加してこれを管理してください。

を使用df.dropDuplicates(['col1','col2'])して、配列内のcolXに基づいて個別の行のみを取得できます。

collect_setは、pyspark.sql.DataFrameの特定の列から一意の値を取得するのに役立ちます df.select(F.collect_set("column").alias("column")).first()["column"]

ALL（列）データをDataFrame（df）から個別に選択する場合は、

df.select('*').distinct().show(10,truncate=False)

あなたができる

distinct_column = 'somecol' 

distinct_column_vals = df.select(distinct_column).distinct().collect()
distinct_column_vals = [v[distinct_column] for v in distinct_column_vals]

dropDuplicatesオプションに加えて、私たちが知っているように名前が付けられたメソッドがあります：pandas drop_duplicates

drop_duplicates（）の別名である）（dropDuplicates。

例

s_df = sqlContext.createDataFrame([("foo", 1),
                                   ("foo", 1),
                                   ("bar", 2),
                                   ("foo", 3)], ('k', 'v'))
s_df.show()

+---+---+
|  k|  v|
+---+---+
|foo|  1|
|foo|  1|
|bar|  2|
|foo|  3|
+---+---+

サブセットでドロップ

s_df.drop_duplicates(subset = ['k']).show()

+---+---+
|  k|  v|
+---+---+
|bar|  2|
|foo|  1|
+---+---+
s_df.drop_duplicates().show()


+---+---+
|  k|  v|
+---+---+
|bar|  2|
|foo|  3|
|foo|  1|
+---+---+

これを最初に実行します

df.createOrReplaceTempView('df')

次に実行します

spark.sql("""
    SELECT distinct
        column name
    FROM
        df
    """).show()

データフレーム内の特定の列の個別の値を確認したい場合は、次のように記述する必要があります-

    df.select('colname').distinct().show(100,False)

これにより、dfデータフレームのcolname列に100個の異なる値（100個の値が使用可能な場合）が表示されます。

個別の値に対して何か凝ったことをしたい場合は、個別の値をベクトルに保存できます

    a = df.select('colname').distinct()

ここで、aは列colnameのすべての個別の値を持ちます