データフレームの行をパンダのグループでリストにグループ化する方法は?


274

私はパンダのデータフレームを持っていますdf

a b
A 1
A 2
B 5
B 5
B 4
C 6

私がしたい最初の列でグループと行のリストとして第2の列を取得します

A [1,2]
B [5,5,4]
C [6]

パンダグループを使用してこのようなことをすることは可能ですか?

回答:


394

これを使用groupbyして、目的の列でグループ化してapply listから、すべてのグループにグループ化できます。

In [1]: df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6]})
        df

Out[1]: 
   a  b
0  A  1
1  A  2
2  B  5
3  B  5
4  B  4
5  C  6

In [2]: df.groupby('a')['b'].apply(list)
Out[2]: 
a
A       [1, 2]
B    [5, 5, 4]
C          [6]
Name: b, dtype: object

In [3]: df1 = df.groupby('a')['b'].apply(list).reset_index(name='new')
        df1
Out[3]: 
   a        new
0  A     [1, 2]
1  B  [5, 5, 4]
2  C        [6]

7
データセットが巨大な場合、たとえば1,000万行の場合、これには長い時間がかかります。これを行うためのより速い方法はありますか?ただし、「a」のユニーク数は約50万です
Abhishek Thakur 14年

6
groupbyは非常に遅く、メモリを大量に消費します。列Aで並べ替えてから、idxminとidxmaxを見つけ(おそらくこれをdictに格納します)、これを使用してデータフレームをスライスする方が高速だと思います
EdChum

1
私の問題(groupByとgroupに複数の列がある)でこの解決策を試したところ、うまくいきませんでした-パンダが送信した「関数は削減されません」。次にtuple、ここで2番目の答えを使用しました:stackoverflow.com/questions/19530568/…。説明については、stackoverflow.com / questions / 27439023 /…の 2番目の回答を参照してください 。
アンダリン2016年

この解決策は良いですが、リストのセットを保存する方法はありますか?つまり、重複を削除して保存できますか?
Sriram Arvind Lakshmanakumar

1
@PoeteMauditすみません、あなたが何を求めているのか理解できません。複数の列を単一のリストに連結する方法を尋ねていますか?
EdChum

47

パフォーマンスが重要な場合は、numpyレベルに下げます。

import numpy as np

df = pd.DataFrame({'a': np.random.randint(0, 60, 600), 'b': [1, 2, 5, 5, 4, 6]*100})

def f(df):
         keys, values = df.sort_values('a').values.T
         ukeys, index = np.unique(keys, True)
         arrays = np.split(values, index[1:])
         df2 = pd.DataFrame({'a':ukeys, 'b':[list(a) for a in arrays]})
         return df2

テスト:

In [301]: %timeit f(df)
1000 loops, best of 3: 1.64 ms per loop

In [302]: %timeit df.groupby('a')['b'].apply(list)
100 loops, best of 3: 5.26 ms per loop

8
我々が例えば2つ以上のキーによってグループ化されている場合はどのように我々はこれを使用することができます.groupby([df.index.month, df.index.day])だけではなくの.groupby('a')
ru111

25

これを実現する便利な方法は次のとおりです。

df.groupby('a').agg({'b':lambda x: list(x)})

カスタムアグリゲーションの作成を検討する:https : //www.kaggle.com/akshaysehgal/how-to-group-by-aggregate-using-py


5
lambda args: f(args)に相当f
BallpointBen 2018年

6
実際には、それでagg(list)十分です。こちらもご覧ください
cs95

!! 私はいくつかの構文をグーグル検索していて、自分のノートブックがソリューションlolで参照されていることに気付きました。これをリンクしてくれてありがとう。追加するだけで、「リスト」はシリーズ関数ではないため、applyでdf.groupby('a').apply(list)使用するか、dictの一部としてaggで使用する必要がありますdf.groupby('a').agg({'b':list})。さらに多くのことができるので、ラムダ(推奨)でも使用できます。例:df.groupby('a').agg({'c':'first', 'b': lambda x: x.unique().tolist()})これは、シリーズ関数をcol cに適用し、次にリスト関数をcol bに適用します。
Akshay Sehgal

21

あなたが言っていたgroupbyように、pd.DataFrameオブジェクトのメソッドは仕事をすることができます。

 L = ['A','A','B','B','B','C']
 N = [1,2,5,5,4,6]

 import pandas as pd
 df = pd.DataFrame(zip(L,N),columns = list('LN'))


 groups = df.groupby(df.L)

 groups.groups
      {'A': [0, 1], 'B': [2, 3, 4], 'C': [5]}

これは、グループのインデックスごとの説明を提供します。

単一のグループの要素を取得するには、たとえば、

 groups.get_group('A')

     L  N
  0  A  1
  1  A  2

  groups.get_group('B')

     L  N
  2  B  5
  3  B  5
  4  B  4

21

データフレームのいくつかの列でこれを解決するには:

In [5]: df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6],'c'
   ...: :[3,3,3,4,4,4]})

In [6]: df
Out[6]: 
   a  b  c
0  A  1  3
1  A  2  3
2  B  5  3
3  B  5  4
4  B  4  4
5  C  6  4

In [7]: df.groupby('a').agg(lambda x: list(x))
Out[7]: 
           b          c
a                      
A     [1, 2]     [3, 3]
B  [5, 5, 4]  [3, 4, 4]
C        [6]        [4]

この回答は、Anamika Modiの回答から発想を得たものです。ありがとうございました!


12

以下のいずれかgroupbyaggレシピを使用してください。

# Setup
df = pd.DataFrame({
  'a': ['A', 'A', 'B', 'B', 'B', 'C'],
  'b': [1, 2, 5, 5, 4, 6],
  'c': ['x', 'y', 'z', 'x', 'y', 'z']
})
df

   a  b  c
0  A  1  x
1  A  2  y
2  B  5  z
3  B  5  x
4  B  4  y
5  C  6  z

複数の列をリストとして集約するには、次のいずれかを使用します。

df.groupby('a').agg(list)
df.groupby('a').agg(pd.Series.tolist)

           b          c
a                      
A     [1, 2]     [x, y]
B  [5, 5, 4]  [z, x, y]
C        [6]        [z]

単一の列のみをグループ化するには、groupbyをSeriesGroupByオブジェクトに変換してから、を呼び出しますSeriesGroupBy.agg。使用する、

df.groupby('a').agg({'b': list})  # 4.42 ms 
df.groupby('a')['b'].agg(list)    # 2.76 ms - faster

a
A       [1, 2]
B    [5, 5, 4]
C          [6]
Name: b, dtype: object

上記の方法は順序を維持することが保証されていますか?同じ行(ただし、上記のコードでは列bcが異なる)の要素は、結果のリストで同じインデックスを持つことを意味しますか?
カイ

@カイああ、いい質問です。はいといいえ。GroupByは、出力をグループ化キーの値で並べ替えます。ただし、ソートは一般に安定しているため、グループごとの相対的な順序は維持されます。並べ替え動作を完全に無効にするには、を使用しますgroupby(..., sort=False)。ここでは、既にソートされている列Aでグループ化しているため、違いはありません。
cs95

すみません、あなたの答えがわかりません。より詳しく説明していただけますか?私は...これは、それが自分の質問だ値すると思う
カイ

1
これは非常に良い答えです!リストの値を一意にする方法もありますか?.agg(pd.Series.tolist.unique)のようなものかもしれませんか?
Federico Gentile

1
@FedericoGentileラムダを使用できます。ここでは一つの方法です:df.groupby('a')['b'].agg(lambda x: list(set(x)))
cs95

7

複数の列をグループ化しているときに一意の リストを探す場合、これはおそらく役立つでしょう:

df.groupby('a').agg(lambda x: list(set(x))).reset_index()

2

df.groupbyリストとSeriesコンストラクタで使用してみましょう

pd.Series({x : y.b.tolist() for x , y in df.groupby('a')})
Out[664]: 
A       [1, 2]
B    [5, 5, 4]
C          [6]
dtype: object

2

agg代わりに使用する時が来ましたapply

いつ

df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6], 'c': [1,2,5,5,4,6]})

複数の列をリストに積み重ねたい場合は、 pd.DataFrame

df.groupby('a')[['b', 'c']].agg(list)
# or 
df.groupby('a').agg(list)

リストに単一の列が必要な場合、結果は ps.Series

df.groupby('a')['b'].agg(list)
#or
df.groupby('a')['b'].apply(list)

pd.DataFrame結果はps.Series、単一の列のみを集計する場合の結果よりも約10倍遅くなります。複数列の場合に使用してください。


0

ここでは「|」で要素をグループ化しています セパレータとして

    import pandas as pd

    df = pd.read_csv('input.csv')

    df
    Out[1]:
      Area  Keywords
    0  A  1
    1  A  2
    2  B  5
    3  B  5
    4  B  4
    5  C  6

    df.dropna(inplace =  True)
    df['Area']=df['Area'].apply(lambda x:x.lower().strip())
    print df.columns
    df_op = df.groupby('Area').agg({"Keywords":lambda x : "|".join(x)})

    df_op.to_csv('output.csv')
    Out[2]:
    df_op
    Area  Keywords

    A       [1| 2]
    B    [5| 5| 4]
    C          [6]

0

集約関数のタプル構文だけでAnamikaの回答に似ている、少なくとも1つの列で同じことのほとんどが達成されないことがわかる最も簡単な方法。

df.groupby('a').agg(b=('b','unique'), c=('c','unique'))
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.