Pythonでパンダを使用してすべての重複アイテムのリストを取得するにはどうすればよいですか?


126

輸出に問題があると思われるアイテムのリストがあります。重複するアイテムのリストを取得して、手動で比較できるようにしたいと思います。私がパンダの複製されたメソッドを使用しようとすると、最初の複製のみが返されます。最初のものだけでなく、すべての複製を取得する方法はありますか?

私のデータセットの小さなサブセクションは次のようになります:

ID,ENROLLMENT_DATE,TRAINER_MANAGING,TRAINER_OPERATOR,FIRST_VISIT_DATE
1536D,12-Feb-12,"06DA1B3-Lebanon NH",,15-Feb-12
F15D,18-May-12,"06405B2-Lebanon NH",,25-Jul-12
8096,8-Aug-12,"0643D38-Hanover NH","0643D38-Hanover NH",25-Jun-12
A036,1-Apr-12,"06CB8CF-Hanover NH","06CB8CF-Hanover NH",9-Aug-12
8944,19-Feb-12,"06D26AD-Hanover NH",,4-Feb-12
1004E,8-Jun-12,"06388B2-Lebanon NH",,24-Dec-11
11795,3-Jul-12,"0649597-White River VT","0649597-White River VT",30-Mar-12
30D7,11-Nov-12,"06D95A3-Hanover NH","06D95A3-Hanover NH",30-Nov-11
3AE2,21-Feb-12,"06405B2-Lebanon NH",,26-Oct-12
B0FE,17-Feb-12,"06D1B9D-Hartland VT",,16-Feb-12
127A1,11-Dec-11,"064456E-Hanover NH","064456E-Hanover NH",11-Nov-12
161FF,20-Feb-12,"0643D38-Hanover NH","0643D38-Hanover NH",3-Jul-12
A036,30-Nov-11,"063B208-Randolph VT","063B208-Randolph VT",
475B,25-Sep-12,"06D26AD-Hanover NH",,5-Nov-12
151A3,7-Mar-12,"06388B2-Lebanon NH",,16-Nov-12
CA62,3-Jan-12,,,
D31B,18-Dec-11,"06405B2-Lebanon NH",,9-Jan-12
20F5,8-Jul-12,"0669C50-Randolph VT",,3-Feb-12
8096,19-Dec-11,"0649597-White River VT","0649597-White River VT",9-Apr-12
14E48,1-Aug-12,"06D3206-Hanover NH",,
177F8,20-Aug-12,"063B208-Randolph VT","063B208-Randolph VT",5-May-12
553E,11-Oct-12,"06D95A3-Hanover NH","06D95A3-Hanover NH",8-Mar-12
12D5F,18-Jul-12,"0649597-White River VT","0649597-White River VT",2-Nov-12
C6DC,13-Apr-12,"06388B2-Lebanon NH",,
11795,27-Feb-12,"0643D38-Hanover NH","0643D38-Hanover NH",19-Jun-12
17B43,11-Aug-12,,,22-Oct-12
A036,11-Aug-12,"06D3206-Hanover NH",,19-Jun-12

私のコードは現在このように見えます:

df_bigdata_duplicates = df_bigdata[df_bigdata.duplicated(cols='ID')]

重複したアイテムがいくつかあります。しかし、上記のコードを使用すると、最初のアイテムしか取得できません。APIリファレンスで、最後の項目を取得する方法を確認しましたが、視覚的に検査して不一致が発生している理由を確認できるように、それらすべてを取得したいと考えています。したがって、この例では、最初のエントリではなく、3つのA036エントリすべてと、11795エントリとその他の重複エントリの両方を取得します。どんな助けでも大歓迎です。


1
「重複」にはさまざまな意味があります。「複数の列またはすべての列で同一の行」ではなく、1つの列の重複IDのみを考慮したい場合
smci

回答:


169

方法1:IDが重複しているIDの1つであるすべての行を印刷します。

>>> import pandas as pd
>>> df = pd.read_csv("dup.csv")
>>> ids = df["ID"]
>>> df[ids.isin(ids[ids.duplicated()])].sort("ID")
       ID ENROLLMENT_DATE        TRAINER_MANAGING        TRAINER_OPERATOR FIRST_VISIT_DATE
24  11795       27-Feb-12      0643D38-Hanover NH      0643D38-Hanover NH        19-Jun-12
6   11795        3-Jul-12  0649597-White River VT  0649597-White River VT        30-Mar-12
18   8096       19-Dec-11  0649597-White River VT  0649597-White River VT         9-Apr-12
2    8096        8-Aug-12      0643D38-Hanover NH      0643D38-Hanover NH        25-Jun-12
12   A036       30-Nov-11     063B208-Randolph VT     063B208-Randolph VT              NaN
3    A036        1-Apr-12      06CB8CF-Hanover NH      06CB8CF-Hanover NH         9-Aug-12
26   A036       11-Aug-12      06D3206-Hanover NH                     NaN        19-Jun-12

でもids何度も繰り返さないようにするいい方法は考えられませんでした。私は方法#2を好む:groupbyIDで。

>>> pd.concat(g for _, g in df.groupby("ID") if len(g) > 1)
       ID ENROLLMENT_DATE        TRAINER_MANAGING        TRAINER_OPERATOR FIRST_VISIT_DATE
6   11795        3-Jul-12  0649597-White River VT  0649597-White River VT        30-Mar-12
24  11795       27-Feb-12      0643D38-Hanover NH      0643D38-Hanover NH        19-Jun-12
2    8096        8-Aug-12      0643D38-Hanover NH      0643D38-Hanover NH        25-Jun-12
18   8096       19-Dec-11  0649597-White River VT  0649597-White River VT         9-Apr-12
3    A036        1-Apr-12      06CB8CF-Hanover NH      06CB8CF-Hanover NH         9-Aug-12
12   A036       30-Nov-11     063B208-Randolph VT     063B208-Randolph VT              NaN
26   A036       11-Aug-12      06D3206-Hanover NH                     NaN        19-Jun-12

11
方法#2は完璧です!どうもありがとうございます。
BigHandsome 2013

4
重複がない場合、メソッド#2は失敗します(「連結するオブジェクトがありません」)
CPBL

4
何をしg for _ ますか?
user77005

5
@ user77005すでに理解しているかもしれませんが、誰にとってもメリットは次のようになりますg for (placeholder, g) in df.groupby('bla') if 'bla'。下線は、ラムダのような式で何かに使用したくない、避けられない引数のプレースホルダーの典型的な記号です。
stucash 2018

7
方法#1を更新する必要があります:sortDataFramesではいずれかsort_valuesまたはsort_index 関連するSO Q&A
tatlar

138

Pandasバージョン0.17では、複製された関数で「keep = False」を設定して、すべての複製アイテムを取得できます。

In [1]: import pandas as pd

In [2]: df = pd.DataFrame(['a','b','c','d','a','b'])

In [3]: df
Out[3]: 
       0
    0  a
    1  b
    2  c
    3  d
    4  a
    5  b

In [4]: df[df.duplicated(keep=False)]
Out[4]: 
       0
    0  a
    1  b
    4  a
    5  b

3
ビンゴ、答えがあります。つまり:strまたはstrまたはboolean ...奇妙なAPIの選択。'all'より論理的で直感的なIMOになります。
Jarad

92
df[df.duplicated(['ID'], keep=False)]

重複したすべての行が返されます。

ドキュメントによると:

keep:{'first'、 'last'、False}、デフォルトは 'first'

  • first:最初の発生を除いて、重複をTrueとしてマークします。
  • last:最後の発生を除いて、重複をTrueとしてマークします。
  • False:すべての重複をTrueとしてマークします。

@dremeこれは構文的に正しくなく、機能しません。']'が一致しないと、必要なものが返されません。その短いですが、間違っています。
FinancialRadDeveloper

おっと、あなたはどちらの点でも正しい@FinancialRadDeveloperです。コメントを削除します。エラーを拾ってくれてありがとう。
dreme

3
df [df ['ID']。duplicated()== True]これにより、すべての重複が返されます
Hariprasad

12

コメントできないので別の回答として投稿

複数の列に基づいて重複を見つけるには、以下のようにすべての列名を指定すると、重複したすべての行セットが返されます。

df[df[['product_uid', 'product_title', 'user']].duplicated() == True]


3

要素ごとの論理ORを使用して、pandasの複製されたメソッドのtake_last引数をTrueとFalseの両方に設定すると、すべての複製を含むデータフレームからセットを取得できます。

df_bigdata_duplicates = 
    df_bigdata[df_bigdata.duplicated(cols='ID', take_last=False) |
               df_bigdata.duplicated(cols='ID', take_last=True)
              ]

2

これは質問の解決策ではないかもしれませんが、例を説明するためです:

import pandas as pd

df = pd.DataFrame({
    'A': [1,1,3,4],
    'B': [2,2,5,6],
    'C': [3,4,7,6],
})

print(df)
df.duplicated(keep=False)
df.duplicated(['A','B'], keep=False)

出力:

   A  B  C
0  1  2  3
1  1  2  4
2  3  5  7
3  4  6  6

0    False
1    False
2    False
3    False
dtype: bool

0     True
1     True
2    False
3    False
dtype: bool

2

sort("ID")現在は機能していないようで、sort docのように非推奨になっているようです。sort_values("ID")代わりに、次のように、重複するフィルターの後にソートするために使用します。

df[df.ID.duplicated(keep=False)].sort_values("ID")

2

私のデータベースでは、列がソートされるまで、複製(keep = False)は機能しませんでした。

data.sort_values(by=['Order ID'], inplace=True)
df = data[data['Order ID'].duplicated(keep=False)]

1

df[df.duplicated(['ID'])==True].sort_values('ID')


4
もっと詳しい説明で答えを広げていただけませんか?これは理解に非常に役立ちます。ありがとうございました!
vezunchik

Stack Overflowへようこそ。ご協力いただきありがとうございます。説明で回答を広げていただければ幸いです。ここにあなたは良い答えを与える方法のガイドを見つけます。ありがとう!
デビッド
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.