Pandas GroupBy出力をSeriesからDataFrameに変換する


496

私はこのような入力データから始めています

df1 = pandas.DataFrame( { 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } )

印刷すると次のようになります。

   City     Name
0   Seattle    Alice
1   Seattle      Bob
2  Portland  Mallory
3   Seattle  Mallory
4   Seattle      Bob
5  Portland  Mallory

グループ化は非常に簡単です:

g1 = df1.groupby( [ "Name", "City"] ).count()

印刷するとGroupByオブジェクトが生成されます:

                  City  Name
Name    City
Alice   Seattle      1     1
Bob     Seattle      2     2
Mallory Portland     2     2
        Seattle      1     1

しかし、最終的に必要なのは、GroupByオブジェクトのすべての行を含む別のDataFrameオブジェクトです。つまり、次の結果を取得したいと思います。

                  City  Name
Name    City
Alice   Seattle      1     1
Bob     Seattle      2     2
Mallory Portland     2     2
Mallory Seattle      1     1

私はパンダのドキュメントでこれを達成する方法をまったく見ることができません。ヒントがあれば歓迎します。


1
余談ですが、使用しているパンダのバージョンは何ですか?最初の2つのコマンドを実行すると、g1は次のようになりますEmpty DataFrame Columns: [] Index: [(Alice, Seattle), (Bob, Seattle), (Mallory, Portland), (Mallory, Seattle)]
Timofey

1
質問のタイトルが、受け入れられた回答に関して誤解を招く
Matanster

@matanster答えを知りたくてここに来たことを聞いてもいいですか?より正確な回答を記述し、質問の下のコメントでユーザーの注意を向けることを検討できます。
cs95

@coldspeedこれはSOの典型的な問題にすぎません。質問のタイトルは、質問と回答の内容から大幅に逸脱することができます。メタが敵対的でなかった場合、おそらくそれを上げるのに役立つ側面でしょう。
Matanster

@matanster同意しますが、実際に答えを探しているのが何なのか知りたくてたまらなかったので、ここにたどり着きました。
cs95

回答:


530

g1ここデータフレームが。ただし、階層的なインデックスがあります。

In [19]: type(g1)
Out[19]: pandas.core.frame.DataFrame

In [20]: g1.index
Out[20]: 
MultiIndex([('Alice', 'Seattle'), ('Bob', 'Seattle'), ('Mallory', 'Portland'),
       ('Mallory', 'Seattle')], dtype=object)

おそらくあなたはこのようなものを望んでいますか?

In [21]: g1.add_suffix('_Count').reset_index()
Out[21]: 
      Name      City  City_Count  Name_Count
0    Alice   Seattle           1           1
1      Bob   Seattle           2           2
2  Mallory  Portland           2           2
3  Mallory   Seattle           1           1

または次のようなもの:

In [36]: DataFrame({'count' : df1.groupby( [ "Name", "City"] ).size()}).reset_index()
Out[36]: 
      Name      City  count
0    Alice   Seattle      1
1      Bob   Seattle      2
2  Mallory  Portland      2
3  Mallory   Seattle      1

27
reset.index()よくできました。
2015年

54
あなたは使うことができた:df1.groupby( [ "Name", "City"] ).size().to_frame(name = 'count').reset_index()
Nehal Jワニ

3
を使用した2番目の例.reset_index()は、あなたが取得する出力を結合する最良の方法のように思えますdf.groupby('some_column').apply(your_custom_func)。これは私には直感的ではありませんでした。
Alexander

5
これはPython 3でも同じですか?pandas.core.groupby.DataFrameGroupByではなく、オブジェクトを返すgroupby関数を見つけていpandas.core.frame.DataFrameます。
Adrian Keister

3
この答えは、最新のpythonとパンダには関係がないようです
matanster

128

バージョン0.16.2にはが必要なので、Wesの回答を少し変更したいと思いますas_index=False。設定しない場合、空のデータフレームが取得されます。

出典

集計関数は、名前付きの列である場合as_index=True、集計するグループを返しません(デフォルトの場合)。グループ化された列は、返されたオブジェクトのインデックスになります。

渡すas_index=Falseと、名前付きの列の場合は、集約するグループが返されます。

集約関数は、例えば、返されるオブジェクトの寸法を小さくするものです:meansumsizecountstdvarsemdescribefirstlastnthminmax。これは、たとえばDataFrame.sum()、あなたが戻ってきたときに何が起こるかですSeries

nthは、レデューサーまたはフィルターとして機能できますここを参照してください

import pandas as pd

df1 = pd.DataFrame({"Name":["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"],
                    "City":["Seattle","Seattle","Portland","Seattle","Seattle","Portland"]})
print df1
#
#       City     Name
#0   Seattle    Alice
#1   Seattle      Bob
#2  Portland  Mallory
#3   Seattle  Mallory
#4   Seattle      Bob
#5  Portland  Mallory
#
g1 = df1.groupby(["Name", "City"], as_index=False).count()
print g1
#
#                  City  Name
#Name    City
#Alice   Seattle      1     1
#Bob     Seattle      2     2
#Mallory Portland     2     2
#        Seattle      1     1
#

編集:

バージョンでは0.17.1以降、あなたは使用することができますsubsetcountし、reset_indexパラメータにnamesize

print df1.groupby(["Name", "City"], as_index=False ).count()
#IndexError: list index out of range

print df1.groupby(["Name", "City"]).count()
#Empty DataFrame
#Columns: []
#Index: [(Alice, Seattle), (Bob, Seattle), (Mallory, Portland), (Mallory, Seattle)]

print df1.groupby(["Name", "City"])[['Name','City']].count()
#                  Name  City
#Name    City                
#Alice   Seattle      1     1
#Bob     Seattle      2     2
#Mallory Portland     2     2
#        Seattle      1     1

print df1.groupby(["Name", "City"]).size().reset_index(name='count')
#      Name      City  count
#0    Alice   Seattle      1
#1      Bob   Seattle      2
#2  Mallory  Portland      2
#3  Mallory   Seattle      1

違いcountとはsizeつまりsizeながら、NaNの値カウントcountしません。


8
これが最も簡単な方法だと思います。reset_indexでシリーズ列に名前を付けることができるというすばらしい事実を使用する1つのライナー:df1.groupby( [ "Name", "City"]).size().reset_index(name="count")
Ben

1
理由がありas_index=False' stopped working in latest versions? I also tried to run df1.groupby([「名前」、「市」]、as_index = Falseのは).size()は`が、グループ分けの結果は、おそらくので、それが(結果には影響しませんSeriesではないDataFrame
ローマPekar

1
確かではありませんが、2列とgroupbyこれらの列だけがあるようです。しかし、私はパンダの開発者ではないので、私にはわかりません。
jezrael

20

単純に、これはタスクを実行するはずです:

import pandas as pd

grouped_df = df1.groupby( [ "Name", "City"] )

pd.DataFrame(grouped_df.size().reset_index(name = "Group_Count"))

ここでgrouped_df.size()は、一意のgroupbyカウントを取得し、reset_index()メソッドは、希望する列の名前をリセットします。最後に、Dataframe()pandas関数が呼び出され、DataFrameオブジェクトが作成されます。


2
.to_frame()メソッドを確認してください:grouped_df.size()。to_frame( 'Group_Count')
Sealander

12

重要なのは、reset_index()メソッドを使用することです。

使用する:

import pandas

df1 = pandas.DataFrame( { 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } )

g1 = df1.groupby( [ "Name", "City"] ).count().reset_index()

これで、g1に新しいデータフレームができました。

結果データフレーム


9

多分私は質問を誤解しているかもしれませんが、グループをデータフレームに戻す場合は、.to_frame()を使用できます。これを行ったときにインデックスをリセットしたかったので、その部分も含めました。

質問とは無関係のサンプルコード

df = df['TIME'].groupby(df['Name']).min()
df = df.to_frame()
df = df.reset_index(level=['Name',"TIME"])

6

私はこれが私のために働いたことを発見しました。

import numpy as np
import pandas as pd

df1 = pd.DataFrame({ 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"]})

df1['City_count'] = 1
df1['Name_count'] = 1

df1.groupby(['Name', 'City'], as_index=False).count()

6

以下の解決策はより簡単かもしれません:

df1.reset_index().groupby( [ "Name", "City"],as_index=False ).count()

4

数量ごとのデータを集計してデータフレームに保存しました

almo_grp_data = pd.DataFrame({'Qty_cnt' :
almo_slt_models_data.groupby( ['orderDate','Item','State Abv']
          )['Qty'].sum()}).reset_index()

3

複数の集計を行っていたため、これらのソリューションは部分的にしか機能しませんでした。これは、データフレームに変換したいと思ったグループ化の出力例です。

Groupby出力

reset_index()で提供される数より多くの数が必要なため、上の画像をデータフレームに変換するための手動のメソッドを作成しました。これは非常に冗長で明示的であるため、これを行う最もpythonic / pandasの方法ではないことを理解していますが、必要なのはそれだけでした。基本的に、上記で説明したreset_index()メソッドを使用して「足場」データフレームを開始し、グループ化されたデータフレームのグループペアリングをループし、インデックスを取得し、グループ化されていないデータフレームに対して計算を実行し、新しい集計データフレームに値を設定します。 。

df_grouped = df[['Salary Basis', 'Job Title', 'Hourly Rate', 'Male Count', 'Female Count']]
df_grouped = df_grouped.groupby(['Salary Basis', 'Job Title'], as_index=False)

# Grouped gives us the indices we want for each grouping
# We cannot convert a groupedby object back to a dataframe, so we need to do it manually
# Create a new dataframe to work against
df_aggregated = df_grouped.size().to_frame('Total Count').reset_index()
df_aggregated['Male Count'] = 0
df_aggregated['Female Count'] = 0
df_aggregated['Job Rate'] = 0

def manualAggregations(indices_array):
    temp_df = df.iloc[indices_array]
    return {
        'Male Count': temp_df['Male Count'].sum(),
        'Female Count': temp_df['Female Count'].sum(),
        'Job Rate': temp_df['Hourly Rate'].max()
    }

for name, group in df_grouped:
    ix = df_grouped.indices[name]
    calcDict = manualAggregations(ix)

    for key in calcDict:
        #Salary Basis, Job Title
        columns = list(name)
        df_aggregated.loc[(df_aggregated['Salary Basis'] == columns[0]) & 
                          (df_aggregated['Job Title'] == columns[1]), key] = calcDict[key]

辞書があなたのものではない場合、計算はforループでインラインで適用できます。

    df_aggregated['Male Count'].loc[(df_aggregated['Salary Basis'] == columns[0]) & 
                                (df_aggregated['Job Title'] == columns[1])] = df['Male Count'].iloc[ix].sum()

ソリューションに使用したデータセットを共有していただけませんか?どうもありがとう!
JeffZheng 2019
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.