2つのデータフレームを比較し、違いを取得する

89

2つのデータフレームがあります。例：

df1:
Date       Fruit  Num  Color 
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange  8.6 Orange
2013-11-24 Apple   7.6 Green
2013-11-24 Celery 10.2 Green

df2:
Date       Fruit  Num  Color 
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange  8.6 Orange
2013-11-24 Apple   7.6 Green
2013-11-24 Celery 10.2 Green
2013-11-25 Apple  22.1 Red
2013-11-25 Orange  8.6 Orange

各データフレームには、インデックスとして日付があります。両方のデータフレームは同じ構造を持っています。

私がやりたいのは、これら2つのデータフレームを比較し、df1にない行がdf2にあるかどうかを見つけることです。日付（インデックス）と最初の列（バナナ、APpleなど）を比較して、それらがdf2とdf1に存在するかどうかを確認したいと思います。

私は以下を試しました：

最初のアプローチでは、「例外：同じラベルのDataFrameオブジェクトのみを比較できます」というエラーが発生します。インデックスとして日付を削除しようとしましたが、同じエラーが発生します。

第三のアプローチ、私はFalseを返すようにアサートを取得するが、実際には異なる行を表示する方法を見つけ出すことはできません。

どんなポインタでも大歓迎です

python  pandas  dataframe 
— エリックD.ブラウン
ソース
これを行う場合：cookbook-r.com/Manipulating_data/…、「同一にラベル付けされたDataFrameオブジェクト」例外を取り除きますか？
— アンソニーコング
運が悪ければ問題を回避するために、列名を何度も変更しました。
— エリックD.ブラウン
1
FWIW、両方のデータフレームで列名を「a、b、c、d」に変更しましたが、同じエラーメッセージが表示されます。
— エリックD.ブラウン

回答:

105

このアプローチはdf1 != df2、同じ行と列を持つデータフレームに対してのみ機能します。実際、すべてのデータフレーム軸が_indexed_sameメソッドと比較され、列/インデックスの順序であっても、違いが見つかった場合は例外が発生します。

私があなたを正しければ、あなたは変化を見つけるのではなく、対称的な違いを見つけたいのです。そのための1つのアプローチは、データフレームを連結することです。

>>> df = pd.concat([df1, df2])
>>> df = df.reset_index(drop=True)

グループ化 

>>> df_gpby = df.groupby(list(df.columns))

一意のレコードのインデックスを取得します

>>> idx = [x[0] for x in df_gpby.groups.values() if len(x) == 1]

フィルタ

>>> df.reindex(idx)
         Date   Fruit   Num   Color
9  2013-11-25  Orange   8.6  Orange
8  2013-11-25   Apple  22.1     Red
— アルコ
ソース
これが答えでした。「日付」インデックスを削除し、このアプローチに従って、正しい出力を取得しました。
— エリックD.ブラウン
10
これにフラグを追加して、どの行がdf1からdf2に削除/追加/変更されたかを確認する簡単な方法はありますか？
— pyCthon 2015年
@alko疑問に思っていたのですが、これpd.concatは不足しているアイテムのみを追加しdf1ますか？それともdf1完全に置き換えられdf2ますか？
— ジェイクウォン2016
@ jakewong-pd.concatここで使用されているように-外部結合を行います。言い換えれば、それは両方のDFさんからすべてのインデックスを結合し、これがデフォルトの動作のために実際にはpd.concat()、ここで、ドキュメントだpandas.pydata.org/pandas-docs/stable/merging.html
— サノス
パンダを使用して比較できるレコードの最大数はいくつですか？
— PYD
25

ディクショナリで連結するためにデータフレームを渡すと、重複を簡単に削除できるマルチインデックスデータフレームが生成されます。これにより、データフレーム間の違いを含むマルチインデックスデータフレームが生成されます。

import sys
if sys.version_info[0] < 3:
    from StringIO import StringIO
else:
    from io import StringIO
import pandas as pd

DF1 = StringIO("""Date       Fruit  Num  Color 
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange  8.6 Orange
2013-11-24 Apple   7.6 Green
2013-11-24 Celery 10.2 Green
""")
DF2 = StringIO("""Date       Fruit  Num  Color 
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange  8.6 Orange
2013-11-24 Apple   7.6 Green
2013-11-24 Celery 10.2 Green
2013-11-25 Apple  22.1 Red
2013-11-25 Orange  8.6 Orange""")


df1 = pd.read_table(DF1, sep='\s+')
df2 = pd.read_table(DF2, sep='\s+')
#%%
dfs_dictionary = {'DF1':df1,'DF2':df2}
df=pd.concat(dfs_dictionary)
df.drop_duplicates(keep=False)

結果：

             Date   Fruit   Num   Color
DF2 4  2013-11-25   Apple  22.1     Red
    5  2013-11-25  Orange   8.6  Orange
— ジュニア
ソース
1
これははるかに簡単な方法です。改訂を1回追加するだけで、さらに簡単になる場合があります。同じだろう辞書、使用DF = pd.concat（[DF1、DF2]）で連結する必要はありません
— 玲
組み込みのキーワードを上書きしないでくださいdict！
— denfromufa 2017
これに追加して、どのデータフレームに一意の行が含まれているかを判断する方法はありますか？
— jlewkovich
あなたは（私は正しいキーで出力を更新）辞書内のデータフレームのキーが含まれてマルチインデックスの最初のレベルで伝えることができます
— JUR
25

更新して配置すると、他の人が見つけやすい場所に、上記のjurの応答に対するlingのコメントが表示されます。

df_diff = pd.concat([df1,df2]).drop_duplicates(keep=False)

これらのDataFrameを使用したテスト：

# with import pandas as pd

df1 = pd.DataFrame({
    'Date':['2013-11-24','2013-11-24','2013-11-24','2013-11-24'],
    'Fruit':['Banana','Orange','Apple','Celery'],
    'Num':[22.1,8.6,7.6,10.2],
    'Color':['Yellow','Orange','Green','Green'],
    })

df2 = pd.DataFrame({
    'Date':['2013-11-24','2013-11-24','2013-11-24','2013-11-24','2013-11-25','2013-11-25'],
    'Fruit':['Banana','Orange','Apple','Celery','Apple','Orange'],
    'Num':[22.1,8.6,7.6,10.2,22.1,8.6],
    'Color':['Yellow','Orange','Green','Green','Red','Orange'],
    })

この結果：

# for df1

         Date   Fruit   Num   Color
0  2013-11-24  Banana  22.1  Yellow
1  2013-11-24  Orange   8.6  Orange
2  2013-11-24   Apple   7.6   Green
3  2013-11-24  Celery  10.2   Green


# for df2

         Date   Fruit   Num   Color
0  2013-11-24  Banana  22.1  Yellow
1  2013-11-24  Orange   8.6  Orange
2  2013-11-24   Apple   7.6   Green
3  2013-11-24  Celery  10.2   Green
4  2013-11-25   Apple  22.1     Red
5  2013-11-25  Orange   8.6  Orange


# for df_diff

         Date   Fruit   Num   Color
4  2013-11-25   Apple  22.1     Red
5  2013-11-25  Orange   8.6  Orange
— leerssej
ソース
5

フィルタリングステップ（私が得るところ:)を除いて、私にとってほとんどうまくいったalkoの答えに基づいて、これが私がValueError: cannot reindex from a duplicate axis使用した最終的な解決策です：

# join the dataframes
united_data = pd.concat([data1, data2, data3, ...])
# group the data by the whole row to find duplicates
united_data_grouped = united_data.groupby(list(united_data.columns))
# detect the row indices of unique rows
uniq_data_idx = [x[0] for x in united_data_grouped.indices.values() if len(x) == 1]
# extract those unique values
uniq_data = united_data.iloc[uniq_data_idx]
— fnl
ソース
答えへの素晴らしい追加。ありがとう
— エリックD.ブラウン
1
IndexError: index out of bounds'3行目を実行しようとすると、エラーが発生します。
— Moondra 2017年
5 
# THIS WORK FOR ME

# Get all diferent values
df3 = pd.merge(df1, df2, how='outer', indicator='Exist')
df3 = df3.loc[df3['Exist'] != 'both']


# If you like to filter by a common ID
df3  = pd.merge(df1, df2, on="Fruit", how='outer', indicator='Exist')
df3  = df3.loc[df3['Exist'] != 'both']
— イヴァン・モラン
ソース
これが最善の答えです
— moshevi
3

より速く、より良い、より単純な解決策があり、数が異なる場合、数量の違いをもたらすことさえあります。

df1_i = df1.set_index(['Date','Fruit','Color'])
df2_i = df2.set_index(['Date','Fruit','Color'])
df_diff = df1_i.join(df2_i,how='outer',rsuffix='_').fillna(0)
df_diff = (df_diff['Num'] - df_diff['Num_'])

ここで、df_diffは違いの概要です。数量の違いを見つけるためにも使用できます。あなたの例では：

ここに画像の説明を入力してください

説明：2つのリストを比較するのと同様に、効率的に行うには、最初にそれらを並べ替えてから比較する必要があります（リストをセット/ハッシュに変換することも高速です。どちらも、単純なO（N ^ 2）二重比較ループの驚くべき改善です。

注：次のコードはテーブルを生成します：

df1=pd.DataFrame({
    'Date':['2013-11-24','2013-11-24','2013-11-24','2013-11-24'],
    'Fruit':['Banana','Orange','Apple','Celery'],
    'Num':[22.1,8.6,7.6,10.2],
    'Color':['Yellow','Orange','Green','Green'],
})
df2=pd.DataFrame({
    'Date':['2013-11-24','2013-11-24','2013-11-24','2013-11-24','2013-11-25','2013-11-25'],
    'Fruit':['Banana','Orange','Apple','Celery','Apple','Orange'],
    'Num':[22.1,8.6,7.6,10.2,22.1,8.6],
    'Color':['Yellow','Orange','Green','Green','Red','Orange'],
})
— ntg
ソース
3

ここで簡単な解決策を創設します：

https://stackoverflow.com/a/47132808/9656339

pd.concat([df1, df2]).loc[df1.index.symmetric_difference(df2.index)]

— Tom2shoes
ソース
1
Stack OverflowTom2shoesへようこそ。リンクのみの回答は提供しないでください。リンクからコンテンツを抽出し、参照としてのみ残してください（リンク内のコンテンツが削除されたり、リンク自体が壊れたりする可能性があるため）。詳細については、「良い答えを書くにはどうすればよいですか？」を参照してください。。この質問がすでに別の質問で回答されていると思われる場合は、重複としてマークしてください。
— GGG 2018
2 
# given
df1=pd.DataFrame({'Date':['2013-11-24','2013-11-24','2013-11-24','2013-11-24'],
    'Fruit':['Banana','Orange','Apple','Celery'],
    'Num':[22.1,8.6,7.6,10.2],
    'Color':['Yellow','Orange','Green','Green']})
df2=pd.DataFrame({'Date':['2013-11-24','2013-11-24','2013-11-24','2013-11-24','2013-11-25','2013-11-25'],
    'Fruit':['Banana','Orange','Apple','Celery','Apple','Orange'],
    'Num':[22.1,8.6,7.6,1000,22.1,8.6],
    'Color':['Yellow','Orange','Green','Green','Red','Orange']})

# find which rows are in df2 that aren't in df1 by Date and Fruit
df_2notin1 = df2[~(df2['Date'].isin(df1['Date']) & df2['Fruit'].isin(df1['Fruit']) )].dropna().reset_index(drop=True)

# output
print('df_2notin1\n', df_2notin1)
#      Color        Date   Fruit   Num
# 0     Red  2013-11-25   Apple  22.1
# 1  Orange  2013-11-25  Orange   8.6
— SpeedCoder5
ソース
2

以来pandas >= 1.1.0、私たちは持っているDataFrame.compareとSeries.compare。

注：このメソッドは、同じラベルのDataFrameオブジェクトのみを比較できます。つまり、同じ行ラベルと列ラベルのDataFrameを比較できます。

df1 = pd.DataFrame({'A': [1, 2, 3],
                    'B': [4, 5, 6],
                    'C': [7, np.NaN, 9]})

df2 = pd.DataFrame({'A': [1, 99, 3],
                    'B': [4, 5, 81],
                    'C': [7, 8, 9]})

   A  B    C
0  1  4  7.0
1  2  5  NaN
2  3  6  9.0 

    A   B  C
0   1   4  7
1  99   5  8
2   3  81  9

df1.compare(df2)

     A          B          C      
  self other self other self other
1  2.0  99.0  NaN   NaN  NaN   8.0
2  NaN   NaN  6.0  81.0  NaN   NaN
— エルファン
ソース
この情報に感謝。私はまだ1.1に移行していませんが、これは知っておくとよいでしょう。
— エリックD.ブラウン
1

私はこの解決策を得ました。これはあなたを助けますか？

text = """df1:
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange 8.6 Orange
2013-11-24 Apple 7.6 Green
2013-11-24 Celery 10.2 Green

df2:
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange 8.6 Orange
2013-11-24 Apple 7.6 Green
2013-11-24 Celery 10.2 Green
2013-11-25 Apple 22.1 Red
2013-11-25 Orange 8.6 Orange



argetz45
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange 118.6 Orange
2013-11-24 Apple 74.6 Green
2013-11-24 Celery 10.2 Green
2013-11-25     Nuts    45.8 Brown
2013-11-25 Apple 22.1 Red
2013-11-25 Orange 8.6 Orange
2013-11-26   Pear 102.54    Pale"""

。

from collections import OrderedDict
import re

r = re.compile('([a-zA-Z\d]+).*\n'
               '(20\d\d-[01]\d-[0123]\d.+\n?'
               '(.+\n?)*)'
               '(?=[ \n]*\Z'
                  '|'
                  '\n+[a-zA-Z\d]+.*\n'
                  '20\d\d-[01]\d-[0123]\d)')

r2 = re.compile('((20\d\d-[01]\d-[0123]\d) +([^\d.]+)(?<! )[^\n]+)')

d = OrderedDict()
bef = []

for m in r.finditer(text):
    li = []
    for x in r2.findall(m.group(2)):
        if not any(x[1:3]==elbef for elbef in bef):
            bef.append(x[1:3])
            li.append(x[0])
    d[m.group(1)] = li


for name,lu in d.iteritems():
    print '%s\n%s\n' % (name,'\n'.join(lu))

結果

df1
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange 8.6 Orange
2013-11-24 Apple 7.6 Green
2013-11-24 Celery 10.2 Green

df2
2013-11-25 Apple 22.1 Red
2013-11-25 Orange 8.6 Orange

argetz45
2013-11-25     Nuts    45.8 Brown
2013-11-26   Pear 102.54    Pale
— eyquem
ソース
助けてくれてありがとう。@alkoによる回答を見ましたが、そのコードはうまく機能しました。
— エリックD.ブラウン
0

注意すべき重要な詳細の1つは、データのインデックス値が重複していることです。したがって、簡単な比較を実行するには、すべてを一意にする必要がありdf.reset_index()ます。したがって、条件に基づいて選択を実行できます。あなたのケースでインデックスが定義されたら、1行の解決策があるようにインデックスを保持したいと思います：

[~df2.reset_index().isin(df1.reset_index())].dropna().set_index('Date')

pythonicの観点からの目的が読みやすさを改善することであるとしたら、少し壊すことができます。

# keep the index name, if it does not have a name it uses the default name
index_name = df.index.name if df.index.name else 'index' 

# setting the index to become unique
df1 = df1.reset_index()
df2 = df2.reset_index()

# getting the differences to a Dataframe
df_diff = df2[~df2.isin(df1)].dropna().set_index(index_name)
— ガンドレオティ
ソース
0

これがお役に立てば幸いです。^ o ^

df1 = pd.DataFrame({'date': ['0207', '0207'], 'col1': [1, 2]})
df2 = pd.DataFrame({'date': ['0207', '0207', '0208', '0208'], 'col1': [1, 2, 3, 4]})
print(f"df1(Before):\n{df1}\ndf2:\n{df2}")
"""
df1(Before):
   date  col1
0  0207     1
1  0207     2

df2:
   date  col1
0  0207     1
1  0207     2
2  0208     3
3  0208     4
"""

old_set = set(df1.index.values)
new_set = set(df2.index.values)
new_data_index = new_set - old_set
new_data_list = []
for idx in new_data_index:
    new_data_list.append(df2.loc[idx])

if len(new_data_list) > 0:
    df1 = df1.append(new_data_list)
print(f"df1(After):\n{df1}")
"""
df1(After):
   date  col1
0  0207     1
1  0207     2
2  0208     3
3  0208     4
"""
— カーソン
ソース
0

私はこの方法を試しましたが、うまくいきました。私はそれも役立つことを願っています：

"""Identify differences between two pandas DataFrames"""
df1.sort_index(inplace=True)
df2.sort_index(inplace=True)
df_all = pd.concat([df1, df12], axis='columns', keys=['First', 'Second'])
df_final = df_all.swaplevel(axis='columns')[df1.columns[1:]]
df_final[df_final['change this to one of the columns'] != df_final['change this to one of the columns']]
— XDのデバッグ
ソース
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.