名前に特定の文字列が含まれる列をpandas DataFrameから削除します


106

次の列名のパンダデータフレームがあります。

Result1、Test1、Result2、Test2、Result3、Test3など...

名前に「Test」という単語が含まれるすべての列を削除したい。そのような列の数は静的ではなく、以前の関数に依存します。

どうやってやるの?

回答:


74
import pandas as pd

import numpy as np

array=np.random.random((2,4))

df=pd.DataFrame(array, columns=('Test1', 'toto', 'test2', 'riri'))

print df

      Test1      toto     test2      riri
0  0.923249  0.572528  0.845464  0.144891
1  0.020438  0.332540  0.144455  0.741412

cols = [c for c in df.columns if c.lower()[:4] != 'test']

df=df[cols]

print df
       toto      riri
0  0.572528  0.144891
1  0.332540  0.741412

2
OPは、削除で大文字と小文字を区別しないことを指定していませんでした。
Phillip Cloud

162

これを行うには良い方法があります:

df = df[df.columns.drop(list(df.filter(regex='Test')))]

47
または直接配置:df.drop(list(df.filter(regex = 'Test')), axis = 1, inplace = True)
Axel

7
これは、受け入れられた回答よりもはるかにエレガントなソリューションです。私はそれをもう少し細かく分解して理由を示し、主に抽出list(df.filter(regex='Test'))して線が何をしているかをよりよく示すようにします。またdf.filter(regex='Test').columns、リスト
Charles

2
これは、受け入れられた答えよりもはるかにエレガントです。
deepelement

4
この回答が「エレガント」というコメントはどういう意味なのでしょうか。私自身は、Pythonコードが最初に読み取り可能である必要があるときに、かなり難読化されていることに気づきました。また、最初の回答より2倍遅くなります。そして、regexキーワードlikeがより適切であると思われるときに、キーワードを使用します。
Jacquot

2
これは実際に人々が主張するほど良い答えではありません。の問題filter、すべてのデータのコピーを削除する列として返すことです。あなただけに、この結果を渡している場合、それは無駄であるdrop(再びコピーを返す)...より良い解決策がされるだろうstr.startswith(私が追加した答えここではそれとは)。
cs95

40

より安く、より速く、そして慣用的: str.contains

パンダの最近のバージョンでは、インデックスと列で文字列メソッドを使用できます。ここでstr.startswithは、ぴったりのようです。

特定の部分文字列で始まるすべての列を削除するには:

df.columns.str.startswith('Test')
# array([ True, False, False, False])

df.loc[:,~df.columns.str.startswith('Test')]

  toto test2 riri
0    x     x    x
1    x     x    x

大文字と小文字を区別しないマッチングでは、正規表現ベースのマッチングをstr.containsSOLアンカーで使用できます。

df.columns.str.contains('^test', case=False)
# array([ True, False,  True, False])

df.loc[:,~df.columns.str.contains('^test', case=False)] 

  toto riri
0    x    x
1    x    x

タイプが混在する可能性がある場合は、それna=Falseも指定します。


15

「フィルター」を使用して、必要な列をフィルターで除外できます

import pandas as pd
import numpy as np

data2 = [{'test2': 1, 'result1': 2}, {'test': 5, 'result34': 10, 'c': 20}]

df = pd.DataFrame(data2)

df

    c   result1     result34    test    test2
0   NaN     2.0     NaN     NaN     1.0
1   20.0    NaN     10.0    5.0     NaN

今フィルター

df.filter(like='result',axis=1)

取得する..

   result1  result34
0   2.0     NaN
1   NaN     10.0

4
ベストアンサー!ありがとう。どのように反対をフィルタリングしますか?not like='result'
ストール

2
次にこれを行います:df = df.drop(df.filter(like = 'result'、axis = 1).columns、axis = 1)
Amir

14

これは次のように1行できちんと実行できます。

df = df.drop(df.filter(regex='Test').columns, axis=1)

1
同様に(より高速):df.drop(df.filter(regex='Test').columns, axis=1, inplace=True)
Max Ghenis

9

次のDataFrame.select方法を使用します。

In [38]: df = DataFrame({'Test1': randn(10), 'Test2': randn(10), 'awesome': randn(10)})

In [39]: df.select(lambda x: not re.search('Test\d+', x), axis=1)
Out[39]:
   awesome
0    1.215
1    1.247
2    0.142
3    0.169
4    0.137
5   -0.971
6    0.736
7    0.214
8    0.111
9   -0.214

そして、opは、数値が 'Test'の後に続く必要があることを指定していませんでした。名前に "Test"が含まれるすべての列を削除したいと思います
2013

数値がテストに続くという仮定は完全に合理的です。質問をもう一度読んでください。
Phillip Cloud

2
現在表示中:FutureWarning: 'select' is deprecated and will be removed in a future release. You can use .loc[labels.map(crit)] as a replacement
flutefreak7

import re事前に覚えておいてください。
ijoseph

5

このメソッドは、すべてを適切に実行します。他の回答の多くはコピーを作成し、それほど効率的ではありません。

df.drop(df.columns[df.columns.str.contains('Test')], axis=1, inplace=True)


2

落とさないでください。あなたが望むものの反対を捕まえてください。

df = df.filter(regex='^((?!badword).)*$').columns


0

正規表現を含む列名のリストをドロップするときの解決策。ドロップリストを頻繁に編集しているので、この方法を使用します。ドロップリストに否定フィルター正規表現を使用します。

drop_column_names = ['A','B.+','C.*']
drop_columns_regex = '^(?!(?:'+'|'.join(drop_column_names)+')$)'
print('Dropping columns:',', '.join([c for c in df.columns if re.search(drop_columns_regex,c)]))
df = df.filter(regex=drop_columns_regex,axis=1)
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.