UNIX時間をパンダデータフレームで読み取り可能な日付に変換する


110

UNIX時間と価格が含まれたデータフレームがあります。人間が読める日付で表示されるようにインデックス列を変換したいと思います。

したがって、たとえば、インデックス列にはdateas 1349633705がありますが、それを10/07/2012(または少なくとも10/07/2012 18:15)として表示したいとします。

いくつかのコンテキストでは、これが私が作業しているコードと私がすでに試したことです:

import json
import urllib2
from datetime import datetime
response = urllib2.urlopen('http://blockchain.info/charts/market-price?&format=json')
data = json.load(response)   
df = DataFrame(data['values'])
df.columns = ["date","price"]
#convert dates 
df.date = df.date.apply(lambda d: datetime.strptime(d, "%Y-%m-%d"))
df.index = df.date   

ご覧のとおり、df.date = df.date.apply(lambda d: datetime.strptime(d, "%Y-%m-%d"))ここでは文字列ではなく整数を使用 しているため、機能しません。私は使用する必要があると思いますdatetime.date.fromtimestampが、これを全体に適用する方法がよくわかりませんdf.date

ありがとう。

回答:


220

これらはエポックからの秒数のようです。

In [20]: df = DataFrame(data['values'])

In [21]: df.columns = ["date","price"]

In [22]: df
Out[22]: 
<class 'pandas.core.frame.DataFrame'>
Int64Index: 358 entries, 0 to 357
Data columns (total 2 columns):
date     358  non-null values
price    358  non-null values
dtypes: float64(1), int64(1)

In [23]: df.head()
Out[23]: 
         date  price
0  1349720105  12.08
1  1349806505  12.35
2  1349892905  12.15
3  1349979305  12.19
4  1350065705  12.15
In [25]: df['date'] = pd.to_datetime(df['date'],unit='s')

In [26]: df.head()
Out[26]: 
                 date  price
0 2012-10-08 18:15:05  12.08
1 2012-10-09 18:15:05  12.35
2 2012-10-10 18:15:05  12.15
3 2012-10-11 18:15:05  12.19
4 2012-10-12 18:15:05  12.15

In [27]: df.dtypes
Out[27]: 
date     datetime64[ns]
price           float64
dtype: object

1
0.13では、read_json:Dのときにdate_unitを使用できるようになります
Andy Hayden

すごい!あなたのソリューションは完全に理にかなっています。パンダ:タイムスタンプへの変換はかなりうまくいきます。今ではto_datetimeについても知っています。
WAカーネギー

ちょうど別のポイント。これは私にとって0.11では機能しませんでしたが、0.12 +では問題ありませんでした
WAカーネギー

1
この解決策は私に与えますOverflowError: Python int too large to convert to C long
__name__がNoneの場合

2
ネヴァーマインド、ちょうどに持っていたミリ秒のタイムスタンプを、持っていたlambda x: x/1000.0、または unit='ms'
__name__がNoneの場合

48

あなたが使用しようとすると:

df[DATE_FIELD]=(pd.to_datetime(df[DATE_FIELD],***unit='s'***))

エラーを受け取る:

「pandas.tslib.OutOfBoundsDatetime:単位 's'の入力を変換できません」

これは、DATE_FIELD秒単位で指定されていないことを意味します。

私の場合、それはミリ秒でした- EPOCH time

変換は以下を使用して機能しました:

df[DATE_FIELD]=(pd.to_datetime(df[DATE_FIELD],unit='ms')) 

15

インポートpandas as pddfてデータフレームであると仮定します

pd.to_datetime(df['date'], unit='s')

私のために働く。


0

または、上記のコードの行を変更することによって:

# df.date = df.date.apply(lambda d: datetime.strptime(d, "%Y-%m-%d"))
df.date = df.date.apply(lambda d: datetime.datetime.fromtimestamp(int(d)).strftime('%Y-%m-%d'))

それも動作するはずです。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.