pysparkデータフレームの列を削除する方法

>>> a
DataFrame[id: bigint, julian_date: string, user_id: bigint]
>>> b
DataFrame[id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint]
>>> a.join(b, a.id==b.id, 'outer')
DataFrame[id: bigint, julian_date: string, user_id: bigint, id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint]

2つid: bigintあり、1つ削除したい。どのようにできるのか？

Sparkのドキュメントを読んで、もっと簡単な解決策を見つけました。

drop(col)Sparkのバージョン1.4以降、データフレームのpysparkで使用できる関数があります。

あなたはそれを2つの方法で使うことができます

1. df.drop('age').collect()
2. df.drop(df.age).collect()

Pysparkドキュメント-ドロップ

@Patrickの回答に加えて、以下を使用して複数の列を削除できます

columns_to_drop = ['id', 'id_copy']
df = df.drop(*columns_to_drop)

これを行うための簡単な方法は、ユーザーには「select」とあなたはすべてのリストを取得することができます実現columnsのためにdataframe、dfと、df.columns

drop_list = ['a column', 'another column', ...]

df.select([column for column in df.columns if column not in drop_list])

次のように、保持する列に明示的に名前を付けることができます。

keep = [a.id, a.julian_date, a.user_id, b.quan_created_money, b.quan_created_cnt]

または、より一般的なアプローチでは、リスト内包表記を介して特定の列を除くすべての列を含めます。たとえば、次のようになります（idからの列を除くb）：

keep = [a[c] for c in a.columns] + [b[c] for c in b.columns if c != 'id']

最後に、参加結果を選択します。

d = a.join(b, a.id==b.id, 'outer').select(*keep)

次の2つの方法を使用できます。

1：必要な列を保持するだけです：

drop_column_list = ["drop_column"]
df = df.select([column for column in df.columns if column not in drop_column_list])  

2：これはよりエレガントな方法です。

df = df.drop("col_name")

collect（）バージョンは、完全なデータセットをマスターに送信するため、多大な計算作業が必要になるため、避ける必要があります。

トピックから少し外れているかもしれませんが、Scalaを使用したソリューションは次のとおりです。作るArrayあなたから列名のをoldDataFrame、あなたがドロップしたいという列を削除します("colExclude")。次に、Array[Column]を渡してselect解凍します。

val columnsToKeep: Array[Column] = oldDataFrame.columns.diff(Array("colExclude"))
                                               .map(x => oldDataFrame.col(x))
val newDataFrame: DataFrame = oldDataFrame.select(columnsToKeep: _*)

2つのdataFrameを検討してください。

>>> aDF.show()
+---+----+
| id|datA|
+---+----+
|  1|  a1|
|  2|  a2|
|  3|  a3|
+---+----+

そして

>>> bDF.show()
+---+----+
| id|datB|
+---+----+
|  2|  b2|
|  3|  b3|
|  4|  b4|
+---+----+

あなたが探していることを達成するために、2つの方法があります：

1.異なる接合条件。aDF.id == bDF.idと言う代わりに

aDF.join(bDF, aDF.id == bDF.id, "outer")

これを書いてください：

aDF.join(bDF, "id", "outer").show()
+---+----+----+
| id|datA|datB|
+---+----+----+
|  1|  a1|null|
|  3|  a3|  b3|
|  2|  a2|  b2|
|  4|null|  b4|
+---+----+----+

これにより、余分なドロッププロセスが自動的に削除されます。

2.エイリアシングを使用する：これでは、B固有のIDに関連するデータが失われます。

>>> from pyspark.sql.functions import col
>>> aDF.alias("a").join(bDF.alias("b"), aDF.id == bDF.id, "outer").drop(col("b.id")).show()

+----+----+----+
|  id|datA|datB|
+----+----+----+
|   1|  a1|null|
|   3|  a3|  b3|
|   2|  a2|  b2|
|null|null|  b4|
+----+----+----+

次のように列を削除できます。

df.drop("column Name).columns

あなたの場合：

df.drop("id").columns

複数の列を削除する場合は、次の操作を実行できます。

dfWithLongColName.drop("ORIGIN_COUNTRY_NAME", "DEST_COUNTRY_NAME")