pyspark文字列を日付形式に変換します


80

の形式の文字列列を持つ日付pysparkデータフレームがあり、MM-dd-yyyyこれを日付列に変換しようとしています。

私は試した:

df.select(to_date(df.STRING_COLUMN).alias('new_date')).show()

そして、nullの文字列を取得します。誰か助けてもらえますか?


TimeSeriesRDDアドオンの1つを使用していない限り(いくつかの議論についてはSpark 2016カンファレンスを参照してください。私が知っている2つがありますが、どちらもまだ開発中です)、時系列用の優れたツールは多くありません。したがって、目的がさまざまなタイプのgroupBy操作またはリサンプリング操作である場合、文字列を日時オブジェクトに変換することをわざわざする理由はめったにないことがわかりました。文字列列で実行するだけです。
ジェフ

分析はgroupBy、医療記録の縦断的研究をほとんどまたはまったく使用せずに行われます。したがって、日付を操作できることが重要です
Jenks 2016年

回答:


114

更新(2018年1月10日):

Spark 2.2以降の場合、これを行うための最良の方法は、おそらく引数をサポートするto_dateorto_timestamp関数を使用するformatことです。ドキュメントから:

>>> from pyspark.sql.functions import to_timestamp
>>> df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t'])
>>> df.select(to_timestamp(df.t, 'yyyy-MM-dd HH:mm:ss').alias('dt')).collect()
[Row(dt=datetime.datetime(1997, 2, 28, 10, 30))]

元の回答(Spark <2.2の場合)

udfなしでこれを行うことは可能です(好ましいですか?):

from pyspark.sql.functions import unix_timestamp, from_unixtime

df = spark.createDataFrame(
    [("11/25/1991",), ("11/24/1991",), ("11/30/1991",)], 
    ['date_str']
)

df2 = df.select(
    'date_str', 
    from_unixtime(unix_timestamp('date_str', 'MM/dd/yyy')).alias('date')
)

print(df2)
#DataFrame[date_str: string, date: timestamp]

df2.show(truncate=False)
#+----------+-------------------+
#|date_str  |date               |
#+----------+-------------------+
#|11/25/1991|1991-11-25 00:00:00|
#|11/24/1991|1991-11-24 00:00:00|
#|11/30/1991|1991-11-30 00:00:00|
#+----------+-------------------+

3
これが正解です。これにudfを使用すると、パフォーマンスが低下します。
gberger 2017年

8
from pyspark.sql.functions import from_unixtime、unix_timestamp
Quetzalcoatl

あなたがここにJavaの日付形式の参照を見つけることができることに注意してください。docs.oracle.com/javase/6/docs/api/java/text/...
RobinL

3
またto_date()、format引数にはspark2.2以降があることに注意してください。 to_date2.2前に存在していますが、フォーマットオプションは存在しませんでした
RobinL

41
from datetime import datetime
from pyspark.sql.functions import col, udf
from pyspark.sql.types import DateType



# Creation of a dummy dataframe:
df1 = sqlContext.createDataFrame([("11/25/1991","11/24/1991","11/30/1991"), 
                            ("11/25/1391","11/24/1992","11/30/1992")], schema=['first', 'second', 'third'])

# Setting an user define function:
# This function converts the string cell into a date:
func =  udf (lambda x: datetime.strptime(x, '%m/%d/%Y'), DateType())

df = df1.withColumn('test', func(col('first')))

df.show()

df.printSchema()

出力は次のとおりです。

+----------+----------+----------+----------+
|     first|    second|     third|      test|
+----------+----------+----------+----------+
|11/25/1991|11/24/1991|11/30/1991|1991-01-25|
|11/25/1391|11/24/1992|11/30/1992|1391-01-17|
+----------+----------+----------+----------+

root
 |-- first: string (nullable = true)
 |-- second: string (nullable = true)
 |-- third: string (nullable = true)
 |-- test: date (nullable = true)

6
ここでudfは必要ないはずですが、これを処理するための組み込みはひどいものです。これは私も今のところすることです。
ジェフ

3
テスト列の日付が最初の列と一致しないのはなぜですか?はい、現在は日付型ですが、日と月が一致していません。理由はありますか?
ジェンクス2016年

1
テストでは、日付に誤った値が表示されます。これは正しい答えではありません。
Shehryar 2017

1
UDFを使用したソリューションは答えではなく、回避策はほとんどありません。PSFと.transform()自体を組み合わせて実行できない多くのユースケースがあるとは思いません。
sumonc20年

28

strptime()アプローチは私には機能しません。キャストを使用して、別のよりクリーンなソリューションを取得します。

from pyspark.sql.types import DateType
spark_df1 = spark_df.withColumn("record_date",spark_df['order_submitted_date'].cast(DateType()))
#below is the result
spark_df1.select('order_submitted_date','record_date').show(10,False)

+---------------------+-----------+
|order_submitted_date |record_date|
+---------------------+-----------+
|2015-08-19 12:54:16.0|2015-08-19 |
|2016-04-14 13:55:50.0|2016-04-14 |
|2013-10-11 18:23:36.0|2013-10-11 |
|2015-08-19 20:18:55.0|2015-08-19 |
|2015-08-20 12:07:40.0|2015-08-20 |
|2013-10-11 21:24:12.0|2013-10-11 |
|2013-10-11 23:29:28.0|2013-10-11 |
|2015-08-20 16:59:35.0|2015-08-20 |
|2015-08-20 17:32:03.0|2015-08-20 |
|2016-04-13 16:56:21.0|2016-04-13 |

7
おかげで、このアプローチは私のために働いた!誰かがのような文字列2008-08-01T14:45:37Zを日付ではなくタイムスタンプに変換したい場合は、df = df.withColumn("CreationDate",df['CreationDate'].cast(TimestampType()))うまく機能します...(Spark 2.2.0)
Gaurav 2017年

1
AWS Glue pysparkの多くの中でこのオプションを試しましたが、魅力のように機能します。
アビ

11

承認された回答の更新では、to_date関数の例が表示されないため、それを使用する別の解決策は次のようになります。

from pyspark.sql import functions as F

df = df.withColumn(
            'new_date',
                F.to_date(
                    F.unix_timestamp('STRINGCOLUMN', 'MM-dd-yyyy').cast('timestamp')))

1
シンプルTO_DATE()を行うことは、これが正解な作業ですしない
ski_squaw

6

おそらくそれほど多くの答えはないので、誰かを助けることができる私のコードを共有することを考えています

from pyspark.sql import SparkSession
from pyspark.sql.functions import to_date

spark = SparkSession.builder.appName("Python Spark SQL basic example")\
    .config("spark.some.config.option", "some-value").getOrCreate()


df = spark.createDataFrame([('2019-06-22',)], ['t'])
df1 = df.select(to_date(df.t, 'yyyy-MM-dd').alias('dt'))
print df1
print df1.show()

出力

DataFrame[dt: date]
+----------+
|        dt|
+----------+
|2019-06-22|
+----------+

日時を変換する場合は、上記のコードを日付に変換してから、to_timestampを使用します。ご不明な点がございましたらお知らせください。


1

これを試して:

df = spark.createDataFrame([('2018-07-27 10:30:00',)], ['Date_col'])
df.select(from_unixtime(unix_timestamp(df.Date_col, 'yyyy-MM-dd HH:mm:ss')).alias('dt_col'))
df.show()
+-------------------+  
|           Date_col|  
+-------------------+  
|2018-07-27 10:30:00|  
+-------------------+  

7
すでに提供され、受け入れられているものに対して、回答がどのように改善されるかを詳しく説明することを検討してください。
chb 2018
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.