パンダデータフレームでのカスタムソート


93

列に月の名前が含まれているpythonpandasデータフレームがあります。

たとえば、辞書を使用してカスタムソートを行うにはどうすればよいですか。

custom_dict = {'March':0, 'April':1, 'Dec':3}  

1
列に月の名前が含まれているということは、(私の答えとして)月の名前を含む列があることを意味しますか、それとも(eumiroのように)月の名前として列名を持つ列が多数あることを意味しますか?
Andy Hayden 2012

1
受け入れられた回答は古く、pd.Categoricalデフォルトで順序付けられたカテゴリを解釈しないため、技術的にも正しくありません。この回答を参照してください。
cs 9519年

回答:


148

Pandas 0.15は、これを行うためのはるかに明確な方法を可能にするカテゴリカルシリーズを導入しました。

まず、月の列をカテゴリカルにし、使用する順序を指定します。

In [21]: df['m'] = pd.Categorical(df['m'], ["March", "April", "Dec"])

In [22]: df  # looks the same!
Out[22]:
   a  b      m
0  1  2  March
1  5  6    Dec
2  3  4  April

これで、月の列を並べ替えると、そのリストに関して並べ替えられます。

In [23]: df.sort_values("m")
Out[23]:
   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

注:値がリストにない場合は、NaNに変換されます。


興味のある人のための古い答え...

あなたは中間シリーズを作成することができます、そしてset_indexその上で:

df = pd.DataFrame([[1, 2, 'March'],[5, 6, 'Dec'],[3, 4, 'April']], columns=['a','b','m'])
s = df['m'].apply(lambda x: {'March':0, 'April':1, 'Dec':3}[x])
s.sort_values()

In [4]: df.set_index(s.index).sort()
Out[4]: 
   a  b      m
0  1  2  March
1  3  4  April
2  5  6    Dec

コメントされているように、新しいパンダでは、シリーズreplaceにはこれをよりエレガントに行う方法があります。

s = df['m'].replace({'March':0, 'April':1, 'Dec':3})

わずかな違いは、辞書の外に値がある場合、これは発生しないことです(同じままです)。


s = df['m'].replace({'March':0, 'April':1, 'Dec':3})ライン2のための作品としても-ちょうど私のようなパンダを学習誰のために
kdauria

@kdauria良いスポット!(私がこれを書いたのでしばらく経ちました!)間違いなく最良のオプションを置き換えます、別のものは使用することです.apply({'March':0, 'April':1, 'Dec':3}.get):) 0.15ではカテゴリーシリーズ/列があるので、それを使用するのが最良の方法であり、ソートはうまくいきます。
Andy Hayden

@ AndyHayden2行目を「replace」メソッドに置き換える自由を取りました。大丈夫だといいのですが。
Faheem Mitha 2015

@AndyHaydenの編集は拒否されましたが、それでも妥当な変更だと思います。
Faheem Mitha

7
df.sort_values("m")(の代わりにdf.sort("m"))新しいパンダで使用するようにしてくださいAttributeError: 'DataFrame' object has no attribute 'sort'。そうしないと、;)
ブレインストーミングが

21

パンダ> = 1.1

間もなく引数sort_values付きで使用できるようになりkeyます。

pd.__version__
# '1.1.0.dev0+2004.g8d10bfb6f'

custom_dict = {'March': 0, 'April': 1, 'Dec': 3} 
df

   a  b      m
0  1  2  March
1  5  6    Dec
2  3  4  April

df.sort_values(by=['m'], key=lambda x: x.map(custom_dict))

   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

key引数は、入力としてシリーズを取り、シリーズを返します。このシリーズは内部的に引数ソートされ、ソートされたインデックスは入力DataFrameを並べ替えるために使用されます。並べ替える列が複数ある場合は、キー機能が各列に順番に適用されます。キーによる並べ替えを参照してください。


パンダ<= 1.0.X

簡単な方法の1つは、出力Series.mapを使用し、Series.argsortインデックスをdf使用して使用することですDataFrame.iloc(argsortはソートされた整数位置を生成するため)。あなたは辞書を持っているので; これは簡単になります。

df.iloc[df['m'].map(custom_dict).argsort()]

   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

降順で並べ替える必要がある場合は、マッピングを逆にします。

df.iloc[(-df['m'].map(custom_dict)).argsort()]

   a  b      m
1  5  6    Dec
2  3  4  April
0  1  2  March

これは数値項目でのみ機能することに注意してください。それ以外の場合は、を使用しsort_valuesてインデックスにアクセスすることでこれを回避する必要があります。

df.loc[df['m'].map(custom_dict).sort_values(ascending=False).index]

   a  b      m
1  5  6    Dec
2  3  4  April
0  1  2  March

より多くのオプションがastype(これは現在非推奨です)、またはpd.Categoricalで利用できますが、正しくordered=True機能するように指定する必要があります。

# Older version,
# df['m'].astype('category', 
#                categories=sorted(custom_dict, key=custom_dict.get), 
#                ordered=True)
df['m'] = pd.Categorical(df['m'], 
                         categories=sorted(custom_dict, key=custom_dict.get), 
                         ordered=True)

これで、簡単なsort_values呼び出しでうまくいきます。

df.sort_values('m')
 
   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

groupby出力を並べ替えるときにも、カテゴリの順序が尊重されます。


2
あなたはすでにそれを強調しましたが、誰かがそれをすくい取って見逃した場合に備えて繰り返したいと思います:ordered=Noneデフォルトでパンダカテゴリカルセット。設定されていない場合、順序が間違っているか、V23で壊れます。特にMax関数はTypeErrorを出します(Categoricalは操作maxに対して順序付けられていません)。
デイブ劉

17

更新

選択した答えを使用してください!これはこの投稿よりも新しく、パンダで順序付けられたデータを維持する公式の方法であるだけでなく、機能やパフォーマンスなど、あらゆる点で優れています。以下で説明する私のハッキーな方法は使用しないでください。

人々が私の答えに賛成し続けるので、私はこのアップデートを書いているだけですが、それは受け入れられたものよりも間違いなく悪いです:)

元の投稿

ゲームには少し遅れていますが、任意の関数を使用してpandas Series、DataFrame、およびmultiindexDataFrameオブジェクトを並べ替える関数を作成する方法を次に示します。

df.iloc[index]Series / DataFrameの行を位置で参照するメソッドを使用します(df.loc値で参照する、と比較して)。これを使用すると、一連の位置引数を返す関数が必要になります。

def sort_pd(key=None,reverse=False,cmp=None):
    def sorter(series):
        series_list = list(series)
        return [series_list.index(i) 
           for i in sorted(series_list,key=key,reverse=reverse,cmp=cmp)]
    return sorter

これを使用して、カスタムの並べ替え関数を作成できます。これは、AndyHaydenの回答で使用されているデータフレームで機能します。

df = pd.DataFrame([
    [1, 2, 'March'],
    [5, 6, 'Dec'],
    [3, 4, 'April']], 
  columns=['a','b','m'])

custom_dict = {'March':0, 'April':1, 'Dec':3}
sort_by_custom_dict = sort_pd(key=custom_dict.get)

In [6]: df.iloc[sort_by_custom_dict(df['m'])]
Out[6]:
   a  b  m
0  1  2  March
2  3  4  April
1  5  6  Dec

これは、多重指数DataFramesおよびSeriesオブジェクトでも機能します。

months = ['Jan','Feb','Mar','Apr','May','Jun','Jul','Aug','Sep','Oct','Nov','Dec']

df = pd.DataFrame([
    ['New York','Mar',12714],
    ['New York','Apr',89238],
    ['Atlanta','Jan',8161],
    ['Atlanta','Sep',5885],
  ],columns=['location','month','sales']).set_index(['location','month'])

sort_by_month = sort_pd(key=months.index)

In [10]: df.iloc[sort_by_month(df.index.get_level_values('month'))]
Out[10]:
                 sales
location  month  
Atlanta   Jan    8161
New York  Mar    12714
          Apr    89238
Atlanta   Sep    5885

sort_by_last_digit = sort_pd(key=lambda x: x%10)

In [12]: pd.Series(list(df['sales'])).iloc[sort_by_last_digit(df['sales'])]
Out[12]:
2    8161
0   12714
3    5885
1   89238

私にはこれはクリーンに感じますが、最適化されたパンダ操作に依存するのではなく、Python操作を多用します。ストレステストは行っていませんが、非常に大きなDataFrameでは遅くなる可能性があると思います。列の追加、並べ替え、削除とパフォーマンスがどのように比較されるかわからない。コードを高速化するためのヒントをいただければ幸いです。


これは、複数の列/インデックスを並べ替えるために機能しますか?
conanG 2017年

はい、しかし選択された答えはこれを行うためのはるかに良い方法です。複数のインデックスがある場合は、好みの並べ替え順序に従って並べ替えてから、を使用df.sort_index()してすべてのインデックスレベルを並べ替えます。
Michael Delgado

9
import pandas as pd
custom_dict = {'March':0,'April':1,'Dec':3}

df = pd.DataFrame(...) # with columns April, March, Dec (probably alphabetically)

df = pd.DataFrame(df, columns=sorted(custom_dict, key=custom_dict.get))

3月、4月、12月の列を持つDataFrameを返します


これは、列のカスタム述語に基づいて行を並べ替えるのではなく、実際の列を並べ替えますか?
cs 9520年
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.