パンダGroupByを使用して各グループ(カウント、平均など)の統計を取得しますか?


438

データフレームがdfあり、そこからいくつかの列を使用してgroupby

df['col1','col2','col3','col4'].groupby(['col1','col2']).mean()

上記の方法で、必要なテーブル(データフレーム)をほぼ取得します。欠けているのは、各グループの行数を含む追加の列です。言い換えれば、私には意地悪がありますが、これらの手段を得るために使用された数の数も知りたいのです。たとえば、最初のグループには8つの値があり、2番目のグループには10というように続きます。

つまり、データフレームのグループごとの統計情報を取得するにはどうすればよいですか?

回答:


427

上のgroupbyオブジェクト、agg関数は、リストを取ることができ、いくつかの集計方法を適用し、一度に。これにより、必要な結果が得られます。

df[['col1', 'col2', 'col3', 'col4']].groupby(['col1', 'col2']).agg(['mean', 'count'])

2
列参照をリストにする必要があると思います。あなたはおそらく意味するか: df[['col1','col2','col3','col4']].groupby(['col1','col2']).agg(['mean', 'count'])
rysqui

43
これは4つのカウント列を作成しますが、1つだけを取得する方法は?(質問は「追加の列」を要求し、それも私が望んでいるものです。)
Jaan

16
countグループごとに1 つの列のみを取得する場合は、私の回答を参照してください。
Pedro M Duarte

Countsという別の名前があり、グループ化されたタイプの行をカウントする代わりに、Counts列に沿って追加する必要がある場合はどうでしょうか。
Abhishek Bhatia 2017年

@Jaan result = df['col1','col2','col3','col4'].groupby(['col1', 'col2']).mean() ; counts = times.groupby(['col1', 'col2']).size() ; result['count'] = counts
alvitawa

912

素早い回答:

グループごとの行数を取得する最も簡単な方法は、を呼び出す.size()ことSeriesです。

df.groupby(['col1','col2']).size()


通常、この結果はDataFrame(の代わりにSeries)にする必要があるため、次のことができます。

df.groupby(['col1', 'col2']).size().reset_index(name='counts')


各グループの行数と他の統計の計算方法を知りたい場合は、以下をお読みください。


詳細な例:

次のデータフレームの例を検討してください。

In [2]: df
Out[2]: 
  col1 col2  col3  col4  col5  col6
0    A    B  0.20 -0.61 -0.49  1.49
1    A    B -1.53 -1.01 -0.39  1.82
2    A    B -0.44  0.27  0.72  0.11
3    A    B  0.28 -1.32  0.38  0.18
4    C    D  0.12  0.59  0.81  0.66
5    C    D -0.13 -1.65 -1.64  0.50
6    C    D -1.42 -0.11 -0.18 -0.44
7    E    F -0.00  1.42 -0.26  1.17
8    E    F  0.91 -0.47  1.35 -0.34
9    G    H  1.48 -0.63 -1.14  0.17

まず.size()、行数を取得するために使用しましょう:

In [3]: df.groupby(['col1', 'col2']).size()
Out[3]: 
col1  col2
A     B       4
C     D       3
E     F       2
G     H       1
dtype: int64

次に.size().reset_index(name='counts')、行数を取得するために使用しましょう:

In [4]: df.groupby(['col1', 'col2']).size().reset_index(name='counts')
Out[4]: 
  col1 col2  counts
0    A    B       4
1    C    D       3
2    E    F       2
3    G    H       1


より多くの統計の結果を含める

グループ化されたデータの統計を計算する場合、通常は次のようになります。

In [5]: (df
   ...: .groupby(['col1', 'col2'])
   ...: .agg({
   ...:     'col3': ['mean', 'count'], 
   ...:     'col4': ['median', 'min', 'count']
   ...: }))
Out[5]: 
            col4                  col3      
          median   min count      mean count
col1 col2                                   
A    B    -0.810 -1.32     4 -0.372500     4
C    D    -0.110 -1.65     3 -0.476667     3
E    F     0.475 -0.47     2  0.455000     2
G    H    -0.630 -0.63     1  1.480000     1

上記の結果は、ネストされた列ラベルのため、および行数が列ごとに基づいているため、処理が少し面倒です。

出力をより詳細に制御するために、私は通常、統計を個別の集計に分割してから、を使用して結合しjoinます。次のようになります。

In [6]: gb = df.groupby(['col1', 'col2'])
   ...: counts = gb.size().to_frame(name='counts')
   ...: (counts
   ...:  .join(gb.agg({'col3': 'mean'}).rename(columns={'col3': 'col3_mean'}))
   ...:  .join(gb.agg({'col4': 'median'}).rename(columns={'col4': 'col4_median'}))
   ...:  .join(gb.agg({'col4': 'min'}).rename(columns={'col4': 'col4_min'}))
   ...:  .reset_index()
   ...: )
   ...: 
Out[6]: 
  col1 col2  counts  col3_mean  col4_median  col4_min
0    A    B       4  -0.372500       -0.810     -1.32
1    C    D       3  -0.476667       -0.110     -1.65
2    E    F       2   0.455000        0.475     -0.47
3    G    H       1   1.480000       -0.630     -0.63



脚注

テストデータの生成に使用されるコードを以下に示します。

In [1]: import numpy as np
   ...: import pandas as pd 
   ...: 
   ...: keys = np.array([
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['C', 'D'],
   ...:         ['C', 'D'],
   ...:         ['C', 'D'],
   ...:         ['E', 'F'],
   ...:         ['E', 'F'],
   ...:         ['G', 'H'] 
   ...:         ])
   ...: 
   ...: df = pd.DataFrame(
   ...:     np.hstack([keys,np.random.randn(10,4).round(2)]), 
   ...:     columns = ['col1', 'col2', 'col3', 'col4', 'col5', 'col6']
   ...: )
   ...: 
   ...: df[['col3', 'col4', 'col5', 'col6']] = \
   ...:     df[['col3', 'col4', 'col5', 'col6']].astype(float)
   ...: 


免責事項:

集計する列の一部にnull値がある場合、グループの行数を各列の独立した集計として表示する必要があります。そうしないと、パンダがNaN平均計算のエントリを通知せずにドロップするため、平均などの計算に実際に使用されているレコードの数について誤解される可能性があります。


1
ねえ、私はあなたのソリューション、特にメソッドチェーンを使用する最後のソリューションが本当に好きです。ただし、多くの場合、さまざまな集計関数をさまざまな列に適用する必要があるため、pd.concatを使用して結果のデータフレームを連結することもできます。これは次の連鎖よりも読みやすいかもしれません
Quickbeam2k1

4
しかしための素晴らしいソリューション、 In [5]: counts_df = pd.DataFrame(df.groupby('col1').size().rename('counts'))あなたはさらなる分析のためのデータフレームを操作したい場合は、新しいカラム)多分(サイズを設定すると良いでしょう、であるべきであるcounts_df = pd.DataFrame(df.groupby('col1').size().reset_index(name='counts')
LancelotHolmes

2
「より多くの統計の結果を含める」ビットをありがとう!:私の次の検索が列に結果のマルチインデックスを平坦化についてだったので、私はここで答えにリンクうstackoverflow.com/a/50558529/1026
Nickolay

すごい!isnullこのクエリに追加して1つの列にも含める方法のヒントを教えてください。'col4': ['median', 'min', 'count', 'isnull']
Peter.k

38

それらすべてを支配する1つの機能: GroupBy.describe

戻り値countmeanstd、および他の有用な統計ごとのグループ。

df.groupby(['col1', 'col2'])['col3', 'col4'].describe()

# Setup
np.random.seed(0)
df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar',
                          'foo', 'bar', 'foo', 'foo'],
                   'B' : ['one', 'one', 'two', 'three',
                          'two', 'two', 'one', 'three'],
                   'C' : np.random.randn(8),
                   'D' : np.random.randn(8)})

from IPython.display import display

with pd.option_context('precision', 2):
    display(df.groupby(['A', 'B'])['C'].describe())

           count  mean   std   min   25%   50%   75%   max
A   B                                                     
bar one      1.0  0.40   NaN  0.40  0.40  0.40  0.40  0.40
    three    1.0  2.24   NaN  2.24  2.24  2.24  2.24  2.24
    two      1.0 -0.98   NaN -0.98 -0.98 -0.98 -0.98 -0.98
foo one      2.0  1.36  0.58  0.95  1.15  1.36  1.56  1.76
    three    1.0 -0.15   NaN -0.15 -0.15 -0.15 -0.15 -0.15
    two      2.0  1.42  0.63  0.98  1.20  1.42  1.65  1.87

特定の統計を取得するには、それらを選択するだけです。

df.groupby(['A', 'B'])['C'].describe()[['count', 'mean']]

           count      mean
A   B                     
bar one      1.0  0.400157
    three    1.0  2.240893
    two      1.0 -0.977278
foo one      2.0  1.357070
    three    1.0 -0.151357
    two      2.0  1.423148

describe複数の列のための作品(変化['C']['C', 'D']-または完全-し、それを削除する何が起こるか見て、結果はMultiIndexedでカラムデータフレームです)。

文字列データのさまざまな統計も取得します。ここに例があります

df2 = df.assign(D=list('aaabbccc')).sample(n=100, replace=True)

with pd.option_context('precision', 2):
    display(df2.groupby(['A', 'B'])
               .describe(include='all')
               .dropna(how='all', axis=1))

              C                                                   D                
          count  mean       std   min   25%   50%   75%   max count unique top freq
A   B                                                                              
bar one    14.0  0.40  5.76e-17  0.40  0.40  0.40  0.40  0.40    14      1   a   14
    three  14.0  2.24  4.61e-16  2.24  2.24  2.24  2.24  2.24    14      1   b   14
    two     9.0 -0.98  0.00e+00 -0.98 -0.98 -0.98 -0.98 -0.98     9      1   c    9
foo one    22.0  1.43  4.10e-01  0.95  0.95  1.76  1.76  1.76    22      2   a   13
    three  15.0 -0.15  0.00e+00 -0.15 -0.15 -0.15 -0.15 -0.15    15      1   c   15
    two    26.0  1.49  4.48e-01  0.98  0.98  1.87  1.87  1.87    26      2   b   15

詳細については、ドキュメントを参照してください。


すべての分布が正常であるとは限りません。IQRはすばらしいでしょう。
ブラッド

7

groupbyとcountを使用して簡単に行うことができます。ただし、reset_index()を使用することを忘れないでください。

df[['col1','col2','col3','col4']].groupby(['col1','col2']).count().\
reset_index()

3
このソリューションは、列にnull値がない限り機能します。そうでない場合、誤解を招く可能性があります(カウントは、グループごとの実際の観測数よりも低くなります)。
エイドリアンパシフィコ

4

複数の統計情報を取得するには、インデックスを折りたたみ、列名を保持します。

df = df.groupby(['col1','col2']).agg(['mean', 'count'])
df.columns = [ ' '.join(str(i) for i in col) for col in df.columns]
df.reset_index(inplace=True)
df

生成する:

**ここに画像の説明を入力してください**


1

グループオブジェクトを作成し、以下の例のようなメソッドを呼び出します。

grp = df.groupby(['col1',  'col2',  'col3']) 

grp.max() 
grp.mean() 
grp.describe() 

1

このコードを試してください

new_column=df[['col1', 'col2', 'col3', 'col4']].groupby(['col1', 'col2']).count()
df['count_it']=new_column
df

コードは各グループのカウントである 'count it'と呼ばれる列を追加すると思います

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.