パンダで数値列を見つけるにはどうすればよいですか?


121

dfパンダのDataFrame だとしましょう。数値型のすべての列を検索したいと思います。何かのようなもの:

isNumeric = is_numeric(df)

あなたは持っている列かどうかを特定すべきdtypeであることobjectが、すべての要素が数値、カウント数値として、あるいはないという。いいえの場合は、Hananの回答も使用してください。それ以外の場合は、私のものを取る。
FooBar 14

単にdf.describe()。columnsを試すとどうなりますか?次に、それを変数に割り当てます。
寒い

回答:


146

select_dtypesDataFrameのメソッドを使用できます。これには、includeとexcludeの2つのパラメーターが含まれます。したがって、isNumericは次のようになります。

numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']

newdf = df.select_dtypes(include=numerics)

94
「数値」リストを指定する必要がない場合は、df.select_dtypes(include = [np.number])を使用できます
KieranPC

23
前のコメント(+1)のlist(df.select_dtypes(include=[np.number]).columns.values)
ヒントに基づいて

76

ドキュメントに記載されていない関数_get_numeric_data()を使用して、数値列のみをフィルタリングできます。

df._get_numeric_data()

例:

In [32]: data
Out[32]:
   A  B
0  1  s
1  2  s
2  3  s
3  4  s

In [33]: data._get_numeric_data()
Out[33]:
   A
0  1
1  2
2  3
3  4

これは「プライベートメソッド」(つまり、実装の詳細)であり、将来変更または完全に削除される可能性があることに注意してください。注意して使用してください


1
超便利です。これはどこかに文書化されていますか?プレフィックスの下線が非公開であることを示しているため
ijoseph 2018

3
いいえ、これはどこにも文書化されていません。ただし、実装はここにありますが、@ ijosephが述べたように、アンダースコアで始まるメソッドは実装の詳細にすぎないため、使用には注意が必要です。これ以外に文字通り他の答えを使用してください。
cs95

丁度。ベストプラクティスとして、できるだけ多くのnumpyメソッドを使用して変換することを試みます。これはパンダのダイナミズムによるものです。APIは頻繁に変更されます。文書化されていないメソッドの場合、それがどれほど有用であっても、それは単なる無謀です。
mik

69

数値列のみで新しいデータフレームを作成する簡単な1行の回答:

df.select_dtypes(include=np.number)

数値列の名前が必要な場合:

df.select_dtypes(include=np.number).columns.tolist()

完全なコード:

import pandas as pd
import numpy as np

df = pd.DataFrame({'A': range(7, 10),
                   'B': np.random.rand(3),
                   'C': ['foo','bar','baz'],
                   'D': ['who','what','when']})
df
#    A         B    C     D
# 0  7  0.704021  foo   who
# 1  8  0.264025  bar  what
# 2  9  0.230671  baz  when

df_numerics_only = df.select_dtypes(include=np.number)
df_numerics_only
#    A         B
# 0  7  0.704021
# 1  8  0.264025
# 2  9  0.230671

colnames_numerics_only = df.select_dtypes(include=np.number).columns.tolist()
colnames_numerics_only
# ['A', 'B']

2
df.select_dtypes(include=['int64']).columns.tolist()
チェリーウー

1つのタイプのみが必要な場合は、リストに格納する必要はありません。また、指定する必要もありませんinclude=select_dtypes(np.number)
BallpointBen

列に数値データがあり、Noneもある場合、dtypeは 'object'である可能性があります。これは、数値の列を強制します:df.fillna(value=0, inplace=True)
vaughnkoch

26
df.select_dtypes(exclude=['object'])

7
日時列は別の型ですdatetime数値型ではありません
Jeru Luke

15

シンプルなワンライナー:

df.select_dtypes('number').columns

2
間違いなく最もPython的な方法です、はい。
jorijnsmit

6

次のコードは、データセットの数値列の名前のリストを返します。

cnames=list(marketing_train.select_dtypes(exclude=['object']).columns)

ここmarketing_trainに私のデータセットがあり、select_dtypes()excludeとinclude引数を使用してデータ型を選択するための関数と列が、上記のコードのデータセット出力の列名をフェッチするために使用されます。

['custAge',
     'campaign',
     'pdays',
     'previous',
     'emp.var.rate',
     'cons.price.idx',
     'cons.conf.idx',
     'euribor3m',
     'nr.employed',
     'pmonths',
     'pastEmail']

ありがとう


4

これは、pandasデータフレームで数値列を見つけるためのもう1つの簡単なコードです。

numeric_clmns = df.dtypes[df.dtypes != "object"].index 

1
def is_type(df, baseType):
    import numpy as np
    import pandas as pd
    test = [issubclass(np.dtype(d).type, baseType) for d in df.dtypes]
    return pd.DataFrame(data = test, index = df.columns, columns = ["test"])
def is_float(df):
    import numpy as np
    return is_type(df, np.float)
def is_number(df):
    import numpy as np
    return is_type(df, np.number)
def is_integer(df):
    import numpy as np
    return is_type(df, np.integer)

1

適応この回答を、あなたが行うことができます

df.ix[:,df.applymap(np.isreal).all(axis=0)]

ここでnp.applymap(np.isreal)は、データフレームのすべてのセルが数値であるかどうかを示し.axis(all=0)、列のすべての値がTrueであるかどうかを確認し、目的の列のインデックス付けに使用できる一連のブール値を返します。


1

以下のコードをご覧ください:

if(dataset.select_dtypes(include=[np.number]).shape[1] > 0):
display(dataset.select_dtypes(include=[np.number]).describe())
if(dataset.select_dtypes(include=[np.object]).shape[1] > 0):
display(dataset.select_dtypes(include=[np.object]).describe())

このようにして、値がfloatやintなどの数値であるか、srting値であるかを確認できます。2番目のifステートメントは、オブジェクトによって参照される文字列値をチェックするために使用されます。


1

以下の要件に従って、データ型を含めたり除外したりできます。

train.select_dtypes(include=None, exclude=None)
train.select_dtypes(include='number') #will include all the numeric types

Jupyter Notebookから参照。

すべての数値タイプを選択するには、np.numberまたはを使用します'number'

  • 文字列を選択するには、objectdtypeを使用する必要がありますが、これによりすべてのオブジェクトのdtype列が返されることに注意してください。

  • NumPy dtype hierarchy <http://docs.scipy.org/doc/numpy/reference/arrays.scalars.html>__を参照してください

  • 日時を選択するにはnp.datetime64'datetime'またはを 使用します'datetime64'

  • タイムデルタを選択するにはnp.timedelta64'timedelta'またはを 使用します'timedelta64'

  • Pandasカテゴリカルdtypeを選択するには、次を使用します。 'category'

  • Pandas datetimetz dtypesを選択するには、'datetimetz'(0.20.0の新機能)または `` 'datetime64 [ns、tz]'を使用します

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.