パンダは各グループ内で上位n件のレコードを取得します


161

次のようなパンダDataFrameがあるとします。

>>> df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]})
>>> df
   id  value
0   1      1
1   1      2
2   1      3
3   2      1
4   2      2
5   2      3
6   2      4
7   3      1
8   4      1

次のように、各IDの上位2レコードを含む新しいDataFrameを取得します。

   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

私はグループごとにグループ内のレコードに番号を付けることでそれを行うことができます:

>>> dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index()
>>> dfN
   id  level_1  index  value
0   1        0      0      1
1   1        1      1      2
2   1        2      2      3
3   2        0      3      1
4   2        1      4      2
5   2        2      5      3
6   2        3      6      4
7   3        0      7      1
8   4        0      8      1
>>> dfN[dfN['level_1'] <= 1][['id', 'value']]
   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

しかし、これを行うためのより効果的でエレガントなアプローチはありますか?また、各グループ内のレコードに番号を付けるためのより洗練されたアプローチがあります(SQLウィンドウ関数row_number()など)。



1
「top-n」は、探しているように「n最上位/最初/先頭行」を意味するのではありません。「最大値を持つn行」を意味します。
smci

回答:


180

試しましたか df.groupby('id').head(2)

生成された出力:

>>> df.groupby('id').head(2)
       id  value
id             
1  0   1      1
   1   1      2 
2  3   2      1
   4   2      2
3  7   3      1
4  8   4      1

(データによっては、事前に注文/並べ替えが必要になる場合があることに注意してください)

編集:質問者が述べたように、を使用df.groupby('id').head(2).reset_index(drop=True)してmultindexを削除し、結果を平坦化します。

>>> df.groupby('id').head(2).reset_index(drop=True)
    id  value
0   1      1
1   1      2
2   2      1
3   2      2
4   3      1
5   4      1

1
はい、それだけだと思います。どういうわけかこれを見落とした。グループ内のレコードに番号を付けるための良い方法を知っていますか?
Roman Pekar 2013年

4
必要な出力を取得するために、次も追加しました.reset_index(drop=True)
Roman Pekar 2013年

1
github.com/pydata/pandas/pull/5510が統合されました。0.13になる予定で、これを正確に実行する新しいメソッドが呼び出されますcumcount(各グループのレコードに番号を
Jeff

1
@ジェフ良いニュース。パンダに貢献する時間がもっとあればいいのに:(
Roman Pekar

3
@dorvakの答えをより完全にするために、2つの最小値が必要な場合はid、を実行してくださいdf.sort_values(['id', 'value'], axis=0).groupby('id').head(2)。別の例として、あたりの最大値idはによって与えられdf.sort_values(['id', 'value'], axis=0).groupby('id').tail(1)ます。
Elmex80s 2017年

129

0.14.1以降、次のことができるようにnlargestなりnsmallestましたgroupby

In [23]: df.groupby('id')['value'].nlargest(2)
Out[23]: 
id   
1   2    3
    1    2
2   6    4
    5    3
3   7    1
4   8    1
dtype: int64

そこに元のインデックスを取得することも少し奇妙ですが、元のインデックスが何であったかによっては、これが非常に役立つ場合があります。

興味がない場合.reset_index(level=1, drop=True)は、完全に取り除くことができます。

(注意:0.17.1から、あなたもDataFrameGroupByでこれを行うことができるでしょうが、今のところそれだけで動作SeriesしてSeriesGroupBy。)


取得する方法はありますunique_limit(n)か?最初のn個の一意の値が必要ですか?私がnlargestそれを要求するならば、高価であり得る全体のdfを分類するでしょう
citynorman

2
groupbyで集計を行う場合、これは機能しませんか?たとえば、df.groupby([pd.Grouper(freq='M'), 'A'])['B'].count().nlargest(5, 'B') これは各グループごとではなく、シリーズ全体の上位5を返すだけです
geominded

これがDataFrameGroupBys でも可能になるという記述はfalseのように見え、リンクされたプルリクエストはnlargest単純なDataFramesにのみ追加されるように見えます。複数の列を選択したい場合はどうなるのでしょうか。
oulenz

7

データ全体を先にソートすることは、非常に時間がかかることがあります。最初にグループ化し、各グループに対してtopkを実行できます。

g = df.groupby(['id']).apply(lambda x: x.nlargest(topk,['value'])).reset_index(drop=True)
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.