Spark DataFrame列をPythonリストに変換する

私は、mvvとcountの2つの列を持つデータフレームで作業します。

+---+-----+
|mvv|count|
+---+-----+
| 1 |  5  |
| 2 |  9  |
| 3 |  3  |
| 4 |  1  |

mvv値とカウント値を含む2つのリストを取得したいと思います。何かのようなもの

mvv = [1,2,3,4]
count = [5,9,3,1]

だから、私は次のコードを試してみました：最初の行は行のpythonリストを返すはずです。私は最初の値を見たかった：

mvv_list = mvv_count_df.select('mvv').collect()
firstvalue = mvv_list[0].getInt(0)

しかし、2行目にエラーメッセージが表示されます。

AttributeError：getInt

ご覧のように、あなたが行っているこの方法が機能しないのはなぜですか。まず、行タイプから整数を取得しようとしています。収集の出力は次のようになります。

>>> mvv_list = mvv_count_df.select('mvv').collect()
>>> mvv_list[0]
Out: Row(mvv=1)

あなたがこのようなものを取るなら：

>>> firstvalue = mvv_list[0].mvv
Out: 1

mvv値を取得します。配列のすべての情報が必要な場合は、次のようにすることができます。

>>> mvv_array = [int(row.mvv) for row in mvv_list.collect()]
>>> mvv_array
Out: [1,2,3,4]

しかし、他の列で同じことを試みると、次のようになります。

>>> mvv_count = [int(row.count) for row in mvv_list.collect()]
Out: TypeError: int() argument must be a string or a number, not 'builtin_function_or_method'

これcountは、が組み込みメソッドであるために発生します。また、列の名前はと同じcountです。これを回避するには、の列名をcountに変更します_count。

>>> mvv_list = mvv_list.selectExpr("mvv as mvv", "count as _count")
>>> mvv_count = [int(row._count) for row in mvv_list.collect()]

ただし、ディクショナリ構文を使用して列にアクセスできるため、この回避策は必要ありません。

>>> mvv_array = [int(row['mvv']) for row in mvv_list.collect()]
>>> mvv_count = [int(row['count']) for row in mvv_list.collect()]

そして、それは最終的に動作します！

1つのライナーに続いて、必要なリストを提供します。

mvv = mvv_count_df.select("mvv").rdd.flatMap(lambda x: x).collect()

これにより、すべての要素がリストとして表示されます。

mvv_list = list(
    mvv_count_df.select('mvv').toPandas()['mvv']
)

次のコードはあなたを助けます

mvv_count_df.select('mvv').rdd.map(lambda row : row[0]).collect()

私のデータについて、私はこれらのベンチマークを得ました：

>>> data.select(col).rdd.flatMap(lambda x: x).collect()

0.52秒

>>> [row[col] for row in data.collect()]

0.271秒

>>> list(data.select(col).toPandas()[col])

0.427秒

結果は同じです

以下のエラーが発生した場合：

AttributeError： 'list' object has no attribute 'collect'

このコードはあなたの問題を解決します：

mvv_list = mvv_count_df.select('mvv').collect()

mvv_array = [int(i.mvv) for i in mvv_list]

私はベンチマーク分析を行いlist(mvv_count_df.select('mvv').toPandas()['mvv'])、最速の方法です。びっくりしました。

Spark 2.4.5の5ノードi3.xlargeクラスター（各ノードには30.5 GBのRAMと4コア）を使用して、10万/ 1億行のデータセットでさまざまなアプローチを実行しました。データは、単一の列を含む20のSnappy圧縮Parquetファイルに均等に分散されました。

ベンチマーク結果（実行時間（秒））は次のとおりです。

+-------------------------------------------------------------+---------+-------------+
|                          Code                               | 100,000 | 100,000,000 |
+-------------------------------------------------------------+---------+-------------+
| df.select("col_name").rdd.flatMap(lambda x: x).collect()    |     0.4 | 55.3        |
| list(df.select('col_name').toPandas()['col_name'])          |     0.4 | 17.5        |
| df.select('col_name').rdd.map(lambda row : row[0]).collect()|     0.9 | 69          |
| [row[0] for row in df.select('col_name').collect()]         |     1.0 | OOM         |
| [r[0] for r in mid_df.select('col_name').toLocalIterator()] |     1.2 | *           |
+-------------------------------------------------------------+---------+-------------+

* cancelled after 800 seconds

ドライバーノードでデータを収集する際に従うべき黄金律：

• 他の方法で問題を解決してください。ドライバーノードへのデータ収集はコストが高く、Sparkクラスターの能力を活用しないため、可能な限り回避する必要があります。
• できるだけ少ない行を収集します。データを収集する前に、列を集計、重複排除、フィルター、および整理します。できるだけ少ないデータをドライバーノードに送信します。

toPandas Spark 2.3では大幅に改善されました。2.3より前のバージョンのSparkを使用している場合、これはおそらく最良の方法ではありません。

詳細とベンチマーク結果については、こちらをご覧ください。

考えられる解決策は、のcollect_list()関数を使用することですpyspark.sql.functions。これにより、すべての列の値がpyspark配列に集約され、収集時にpythonリストに変換されます。

mvv_list   = df.select(collect_list("mvv")).collect()[0][0]
count_list = df.select(collect_list("count")).collect()[0][0]