データ型に基づいてパンダのデータフレーム列のリストを取得します


184

次の列を持つデータフレームがある場合:

1. NAME                                     object
2. On_Time                                      object
3. On_Budget                                    object
4. %actual_hr                                  float64
5. Baseline Start Date                  datetime64[ns]
6. Forecast Start Date                  datetime64[ns] 

私は言いたいのですが、ここにデータフレームがあります。ObjectタイプまたはDateTimeタイプの列のリストを教えてください。

数値(Float64)を小数点以下2桁に変換する関数があります。特定のタイプのこのデータフレーム列のリストを使用し、この関数を実行してすべてを2 dpに変換したいと思います。

多分:

For c in col_list: if c.dtype = "Something"
list[]
List.append(c)?

4
この質問にたどり着いたとき、私は一番上のリストを正確に作成する方法を探していました。df.dtypesそれを行います。
Martin Thoma

訪問者はまた、すべてのオブジェクトタイプを見つける方法については、この異なるが関連する問題に興味がある可能性があり、各列内をパンダが列をオブジェクトにどのように私はサブタイプを検出することができましたか?
19

回答:


315

特定のタイプの列のリストが必要な場合は、以下を使用できますgroupby

>>> df = pd.DataFrame([[1, 2.3456, 'c', 'd', 78]], columns=list("ABCDE"))
>>> df
   A       B  C  D   E
0  1  2.3456  c  d  78

[1 rows x 5 columns]
>>> df.dtypes
A      int64
B    float64
C     object
D     object
E      int64
dtype: object
>>> g = df.columns.to_series().groupby(df.dtypes).groups
>>> g
{dtype('int64'): ['A', 'E'], dtype('float64'): ['B'], dtype('O'): ['C', 'D']}
>>> {k.name: v for k, v in g.items()}
{'object': ['C', 'D'], 'int64': ['A', 'E'], 'float64': ['B']}

5
これは、列が期待したタイプであることを保証するデータ品質チェックとして役立ちます。
NYCeyes

2
object実際のコンテンツに関係なく、すべてのデータフレーム列がタイプを返す場合、これは機能しません
user5359531

2
@ user5359531が機能していないという意味ではありません。つまり、実際には、DataFrame列が本来あるべき型にキャストされなかったことを意味します。これは、さまざまな理由で発生する可能性があります。
Marc

6
データ型で列を選択するだけの場合、この答えは古くなっています。select_dtypes代わりに使用
Ted Petrou

このグループ化されたデータフレームを後でどのようにインデックス付けしますか?
アレン王

110

パンダv0.14.1以降では、dtypeでselect_dtypes()列を選択するために利用できます

In [2]: df = pd.DataFrame({'NAME': list('abcdef'),
    'On_Time': [True, False] * 3,
    'On_Budget': [False, True] * 3})

In [3]: df.select_dtypes(include=['bool'])
Out[3]:
  On_Budget On_Time
0     False    True
1      True   False
2     False    True
3      True   False
4     False    True
5      True   False

In [4]: mylist = list(df.select_dtypes(include=['bool']).columns)

In [5]: mylist
Out[5]: ['On_Budget', 'On_Time']

35

を使用dtypeすると、目的の列のデータ型が得られます。

dataframe['column1'].dtype

すべての列のデータ型を一度に知りたい場合は、複数をdtypesdtypeとして使用できます。

dataframe.dtypes

1
これは受け入れられる答えであるはずです。それは、OPが望むフォーマットとほぼ正確にデータ型を出力します。
Abhishek Divekar 2017

1
質問は、たとえばdf.select_dtypes(include=['Object','DateTime']).columns以下で説明するように使用する特定のデータ型のみをリストすることに関するものでした
DfAC、2018年

29

dtypes属性でブールマスクを使用できます。

In [11]: df = pd.DataFrame([[1, 2.3456, 'c']])

In [12]: df.dtypes
Out[12]: 
0      int64
1    float64
2     object
dtype: object

In [13]: msk = df.dtypes == np.float64  # or object, etc.

In [14]: msk
Out[14]: 
0    False
1     True
2    False
dtype: bool

目的のdtypeを持つ列だけを確認できます。

In [15]: df.loc[:, msk]
Out[15]: 
        1
0  2.3456

これで、ラウンド(または何でも)を使用して割り当て直すことができます。

In [16]: np.round(df.loc[:, msk], 2)
Out[16]: 
      1
0  2.35

In [17]: df.loc[:, msk] = np.round(df.loc[:, msk], 2)

In [18]: df
Out[18]: 
   0     1  2
0  1  2.35  c

データフレームの名前を受け取り、リストのディクショナリを返す関数を記述できるようになりたいです。ディクショナリキーはデータ型で、値はデータフレームの列のリストですデータ・タイプ。
yoshiserry 2014年

def col_types(x、pd):
itthrill 2018


7

使用デフォルトでは、パンダdatafarmeされますdf.info(verbose=True)dfverbose=False


テーブルが大きい場合、メモリの問題が発生する可能性があります
Koo

4

特定のdtypeの列のリストを取得する最も直接的な方法、たとえば 'object':

df.select_dtypes(include='object').columns

例えば:

>>df = pd.DataFrame([[1, 2.3456, 'c', 'd', 78]], columns=list("ABCDE"))
>>df.dtypes

A      int64
B    float64
C     object
D     object
E      int64
dtype: object

すべての「オブジェクト」dtype列を取得するには:

>>df.select_dtypes(include='object').columns

Index(['C', 'D'], dtype='object')

リストだけの場合:

>>list(df.select_dtypes(include='object').columns)

['C', 'D']   

3

オブジェクト列のみのリストが必要な場合は、次のようにします。

non_numerics = [x for x in df.columns \
                if not (df[x].dtype == np.float64 \
                        or df[x].dtype == np.int64)]

そして、数値のみの別のリストを取得したい場合:

numerics = [x for x in df.columns if x not in non_numerics]

0

私はこの3つのライナーを思いつきました

基本的には、次のようになります。

  1. 列名とそれぞれのデータ型を取得します。
  2. オプションでcsvに出力しています。

inp = pd.read_csv('filename.csv') # read input. Add read_csv arguments as needed
columns = pd.DataFrame({'column_names': inp.columns, 'datatypes': inp.dtypes})
columns.to_csv(inp+'columns_list.csv', encoding='utf-8') # encoding is optional

これにより、オンザフライでスキーマ生成することがはるかに簡単になりました。お役に立てれば


0

yoshiserry;

def col_types(x,pd):
    dtypes=x.dtypes
    dtypes_col=dtypes.index
    dtypes_type=dtypes.value
    column_types=dict(zip(dtypes_col,dtypes_type))
    return column_types

0

私はinfer_objects()を使用します

Docstring:オブジェクト列のより適切なdtypeを推測しようとしました。

オブジェクト型の列のソフト変換を試み、非オブジェクト列と変換不可能な列は変更しません。推論規則は、通常のSeries / DataFrame構築時と同じです。

df.infer_objects().dtypes

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.