pandas.DataFrameから複雑な基準で選択する


235

たとえば、私は単純なDFを持っています:

import pandas as pd
from random import randint

df = pd.DataFrame({'A': [randint(1, 9) for x in xrange(10)],
                   'B': [randint(1, 9)*10 for x in xrange(10)],
                   'C': [randint(1, 9)*100 for x in xrange(10)]})

Pandasのメソッドとイディオムを使用して、「B」の対応する値が50を超える「A」と「C」-900以外の値を選択できますか?


df.queryそしてpd.eval、このユースケースのために良いフィットのように見えます。pd.eval()関数のファミリー、その機能、および使用例については、pd.eval()を使用したパンダでの動的式評価をご覧ください。
cs95 2018

:同様で@Geckoの答えをチェックかもしれないstackoverflow.com/questions/13611065/...
ニコラス・ハンフリー

回答:


391

承知しました!セットアップ:

>>> import pandas as pd
>>> from random import randint
>>> df = pd.DataFrame({'A': [randint(1, 9) for x in range(10)],
                   'B': [randint(1, 9)*10 for x in range(10)],
                   'C': [randint(1, 9)*100 for x in range(10)]})
>>> df
   A   B    C
0  9  40  300
1  9  70  700
2  5  70  900
3  8  80  900
4  7  50  200
5  9  30  900
6  2  80  700
7  2  80  400
8  5  80  300
9  7  70  800

列操作を適用して、ブールSeriesオブジェクトを取得できます。

>>> df["B"] > 50
0    False
1     True
2     True
3     True
4    False
5    False
6     True
7     True
8     True
9     True
Name: B
>>> (df["B"] > 50) & (df["C"] == 900)
0    False
1    False
2     True
3     True
4    False
5    False
6    False
7    False
8    False
9    False

[更新、新しいスタイルに切り替える.loc]:

そして、これらを使用してオブジェクトにインデックスを付けることができます。読み取りアクセスの場合は、インデックスをチェーンできます。

>>> df["A"][(df["B"] > 50) & (df["C"] == 900)]
2    5
3    8
Name: A, dtype: int64

しかし、ビューとコピーの違いが書き込みアクセスのためにこれを行うため、問題が発生する可能性があります。.loc代わりに使用できます:

>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"]
2    5
3    8
Name: A, dtype: int64
>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"].values
array([5, 8], dtype=int64)
>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"] *= 1000
>>> df
      A   B    C
0     9  40  300
1     9  70  700
2  5000  70  900
3  8000  80  900
4     7  50  200
5     9  30  900
6     2  80  700
7     2  80  400
8     5  80  300
9     7  70  800

誤って入力したのに、またはを入力== 900していないことに注意してください。しかし、私はそれを修正するのが面倒です。読者のための練習。:^)!= 900~(df["C"] == 900)


5
.loc更新について-どこでコピーを取得し、どこでビューを取得するかを明確にするとよいでしょう。
Gill Bates、

3
パンダのデータフレームをフィルタリングしてOR演算子を使用することは可能ですか?たとえば、列の月があった場合、df = data ['month' == JAN OR 'month' == FEB]と言うことができますか?また、クエリをより複雑にする2番目の列を含めることができます。newdfの場合、col_month = jan OR feb AND col_day = MONDAYまたはWENDNESDAY
yoshiserry

7
@yoshiserry:別の質問として質問してください。古い回答のコメントでは、誰もそれを見ることができません。
DSM

2
括弧を忘れないでください-次のような奇妙なエラーが発生します{TypeError}cannot compare a dtyped [int64] array with a scalar of type [bool]
Mr_and_Mrs_D

このように括弧を使用すると、シリーズ全体の計算につながりませんか?効率化のために繰り返しサブセット化したい場合はどうでしょうか?
ifly6 '14 / 02/14

56

別の解決策はqueryメソッドを使用することです:

import pandas as pd

from random import randint
df = pd.DataFrame({'A': [randint(1, 9) for x in xrange(10)],
                   'B': [randint(1, 9) * 10 for x in xrange(10)],
                   'C': [randint(1, 9) * 100 for x in xrange(10)]})
print df

   A   B    C
0  7  20  300
1  7  80  700
2  4  90  100
3  4  30  900
4  7  80  200
5  7  60  800
6  3  80  900
7  9  40  100
8  6  40  100
9  3  10  600

print df.query('B > 50 and C != 900')

   A   B    C
1  7  80  700
2  4  90  100
4  7  80  200
5  7  60  800

ここで、列Aの戻り値を変更する場合は、それらのインデックスを保存できます。

my_query_index = df.query('B > 50 & C != 900').index

....そして.ilocそれらを変更するために使用する、すなわち:

df.iloc[my_query_index, 0] = 5000

print df

      A   B    C
0     7  20  300
1  5000  80  700
2  5000  90  100
3     4  30  900
4  5000  80  200
5  5000  60  800
6     3  80  900
7     9  40  100
8     6  40  100
9     3  10  600

12

かっこを使用することを忘れないでください!

ことを覚えておいてください&オペレーターのような演算子よりも優先されます>か、<などだからこそです

4 < 5 & 6 > 4

はに評価されFalseます。したがって、を使用している場合pd.locは、論理ステートメントを角括弧で囲む必要があります。そうしないと、エラーが発生します。それが理由です:

df.loc[(df['A'] > 10) & (df['B'] < 15)]

の代わりに

df.loc[df['A'] > 10 & df['B'] < 15]

その結果

TypeError:dtyped [float64]配列を[bool]型のスカラーと比較できません


3

比較のためにいくつかの組み込み関数があるパンダを使用できます。したがって、「B」と「C」の条件が満たされる「A」の値を選択する場合(DataFrame pandasオブジェクトを戻す必要がある場合)

df[['A']][df.B.gt(50) & df.C.ne(900)]

df[['A']] 列AがDataFrame形式で返されます。

パンダの「gt」関数は、50より大きい列Bの位置を返し、「ne」は900以外の位置を返します。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.