Python Pandasユーザー警告：非連結軸が整列されていないため、並べ替え

92

私はいくつかのコードの練習をしていて、これを実行しながらデータフレームのマージを適用してユーザーの警告を取得しています

/usr/lib64/python2.7/site-packages/pandas/core/frame.py:6201：FutureWarning：非連結軸が整列されていないため、並べ替えます。パンダの将来のバージョンは、デフォルトでソートされないように変更されます。将来の動作を受け入れるには、「sort = True」を渡します。現在の動作を維持し、警告を消音するには、sort = Falseを渡します

これらのコード行について：この警告の解決策を得るのを手伝っていただけませんか。

placement_video = [self.read_sql_vdx_summary, self.read_sql_video_km]
placement_video_summary = reduce(lambda left, right: pd.merge(left, right, on='PLACEMENT', sort=False), placement_video)


placement_by_video = placement_video_summary.loc[:, ["PLACEMENT", "PLACEMENT_NAME", "COST_TYPE", "PRODUCT",
                                                     "VIDEONAME", "VIEW0", "VIEW25", "VIEW50", "VIEW75",
                                                     "VIEW100",
                                                     "ENG0", "ENG25", "ENG50", "ENG75", "ENG100", "DPE0",
                                                     "DPE25",
                                                     "DPE50", "DPE75", "DPE100"]]

# print (placement_by_video)

placement_by_video["Placement# Name"] = placement_by_video[["PLACEMENT",
                                                            "PLACEMENT_NAME"]].apply(lambda x: ".".join(x),
                                                                                     axis=1)

placement_by_video_new = placement_by_video.loc[:,
                         ["PLACEMENT", "Placement# Name", "COST_TYPE", "PRODUCT", "VIDEONAME",
                          "VIEW0", "VIEW25", "VIEW50", "VIEW75", "VIEW100",
                          "ENG0", "ENG25", "ENG50", "ENG75", "ENG100", "DPE0", "DPE25",
                          "DPE50", "DPE75", "DPE100"]]

placement_by_km_video = [placement_by_video_new, self.read_sql_km_for_video]
placement_by_km_video_summary = reduce(lambda left, right: pd.merge(left, right, on=['PLACEMENT', 'PRODUCT'], sort=False),
                                       placement_by_km_video)

#print (list(placement_by_km_video_summary))
#print(placement_by_km_video_summary)
#exit()
# print(placement_by_video_new)
"""Conditions for 25%view"""
mask17 = placement_by_km_video_summary["PRODUCT"].isin(['Display', 'Mobile'])
mask18 = placement_by_km_video_summary["COST_TYPE"].isin(["CPE", "CPM", "CPCV"])
mask19 = placement_by_km_video_summary["PRODUCT"].isin(["InStream"])
mask20 = placement_by_km_video_summary["COST_TYPE"].isin(["CPE", "CPM", "CPE+", "CPCV"])
mask_video_video_completions = placement_by_km_video_summary["COST_TYPE"].isin(["CPCV"])
mask21 = placement_by_km_video_summary["COST_TYPE"].isin(["CPE+"])
mask22 = placement_by_km_video_summary["COST_TYPE"].isin(["CPE", "CPM"])
mask23 = placement_by_km_video_summary["PRODUCT"].isin(['Display', 'Mobile', 'InStream'])
mask24 = placement_by_km_video_summary["COST_TYPE"].isin(["CPE", "CPM", "CPE+"])

choice25video_eng = placement_by_km_video_summary["ENG25"]
choice25video_vwr = placement_by_km_video_summary["VIEW25"]
choice25video_deep = placement_by_km_video_summary["DPE25"]

placement_by_km_video_summary["25_pc_video"] = np.select([mask17 & mask18, mask19 & mask20, mask17 & mask21],
                                                  [choice25video_eng, choice25video_vwr, choice25video_deep])


"""Conditions for 50%view"""
choice50video_eng = placement_by_km_video_summary["ENG50"]
choice50video_vwr = placement_by_km_video_summary["VIEW50"]
choice50video_deep = placement_by_km_video_summary["DPE50"]

placement_by_km_video_summary["50_pc_video"] = np.select([mask17 & mask18, mask19 & mask20, mask17 & mask21],
                                                  [choice50video_eng,
                                                   choice50video_vwr, choice50video_deep])

"""Conditions for 75%view"""

choice75video_eng = placement_by_km_video_summary["ENG75"]
choice75video_vwr = placement_by_km_video_summary["VIEW75"]
choice75video_deep = placement_by_km_video_summary["DPE75"]

placement_by_km_video_summary["75_pc_video"] = np.select([mask17 & mask18, mask19 & mask20, mask17 & mask21],
                                                  [choice75video_eng,
                                                   choice75video_vwr,
                                                   choice75video_deep])

"""Conditions for 100%view"""

choice100video_eng = placement_by_km_video_summary["ENG100"]
choice100video_vwr = placement_by_km_video_summary["VIEW100"]
choice100video_deep = placement_by_km_video_summary["DPE100"]
choicecompletions = placement_by_km_video_summary['COMPLETIONS']

placement_by_km_video_summary["100_pc_video"] = np.select([mask17 & mask22, mask19 & mask24, mask17 & mask21, mask23 & mask_video_video_completions],
                                                          [choice100video_eng, choice100video_vwr, choice100video_deep, choicecompletions])



"""conditions for 0%view"""

choice0video_eng = placement_by_km_video_summary["ENG0"]
choice0video_vwr = placement_by_km_video_summary["VIEW0"]
choice0video_deep = placement_by_km_video_summary["DPE0"]

placement_by_km_video_summary["Views"] = np.select([mask17 & mask18, mask19 & mask20, mask17 & mask21],
                                                   [choice0video_eng,
                                                    choice0video_vwr,
                                                    choice0video_deep])


#print (placement_by_km_video_summary)
#exit()

#final Table

placement_by_video_summary = placement_by_km_video_summary.loc[:,
                             ["PLACEMENT", "Placement# Name", "PRODUCT", "VIDEONAME", "COST_TYPE",
                              "Views", "25_pc_video", "50_pc_video", "75_pc_video","100_pc_video",
                              "ENGAGEMENTS","IMPRESSIONS", "DPEENGAMENTS"]]

#placement_by_km_video = [placement_by_video_summary, self.read_sql_km_for_video]
#placement_by_km_video_summary = reduce(lambda left, right: pd.merge(left, right, on=['PLACEMENT', 'PRODUCT']),
                                       #placement_by_km_video)


#print(placement_by_video_summary)
#exit()
# dup_col =["IMPRESSIONS","ENGAGEMENTS","DPEENGAMENTS"]

# placement_by_video_summary.loc[placement_by_video_summary.duplicated(dup_col),dup_col] = np.nan

# print ("Dhar",placement_by_video_summary)

'''adding views based on conditions'''
#filter maximum value from videos

placement_by_video_summary_new = placement_by_km_video_summary.loc[
    placement_by_km_video_summary.reset_index().groupby(['PLACEMENT', 'PRODUCT'])['Views'].idxmax()]
#print (placement_by_video_summary_new)
#exit()
# print (placement_by_video_summary_new)
# mask22 = (placement_by_video_summary_new.PRODUCT.str.upper ()=='DISPLAY') & (placement_by_video_summary_new.COST_TYPE=='CPE')

placement_by_video_summary_new.loc[mask17 & mask18, 'Views'] = placement_by_video_summary_new['ENGAGEMENTS']
placement_by_video_summary_new.loc[mask19 & mask20, 'Views'] = placement_by_video_summary_new['IMPRESSIONS']
placement_by_video_summary_new.loc[mask17 & mask21, 'Views'] = placement_by_video_summary_new['DPEENGAMENTS']

#print (placement_by_video_summary_new)
#exit()
placement_by_video_summary = placement_by_video_summary.drop(placement_by_video_summary_new.index).append(
    placement_by_video_summary_new).sort_index()

placement_by_video_summary["Video Completion Rate"] = placement_by_video_summary["100_pc_video"] / \
                                                      placement_by_video_summary["Views"]

placement_by_video_final = placement_by_video_summary.loc[:,
                           ["Placement# Name", "PRODUCT", "VIDEONAME", "Views",
                            "25_pc_video", "50_pc_video", "75_pc_video", "100_pc_video",
                            "Video Completion Rate"]]
python  pandas 
— MishD
ソース

回答:

135

tl; dr：

concatそしてappend、現在のソート非連結インデックスの列が一致しない場合（例えば、列あなたが行を追加している場合）。パンダ0.23では、これにより警告が生成され始めました。パラメータsort=Trueを渡して無音にします。将来的には、デフォルトがソートされないように変更されるため、どちらかsort=TrueまたはFalse今を指定するか、非連結インデックスが一致することを確認することをお勧めします。

警告はパンダ0.23.0の新機能です：

パンダの将来のバージョンでpandas.concat()とDataFrame.append()、それがまだ揃っていないときにはもはやソート非連結は、軸ません。現在の動作は以前の動作（並べ替え）と同じですが、並べ替えが指定されておらず、非連結軸が整列されていない場合に警告が発行されるようになりました、 link。

リンクされた非常に古いgithubの問題からの詳細情報、smcinerneyによるコメント：

DataFrameを連結する場合、列名に違いがある場合、列名はアルファベット順にソートされます。それらがDataFrame間で同一である場合、それらはソートされません。

この種は文書化されておらず、望ましくありません。確かに、デフォルトの動作はソートなしである必要があります。

しばらくするとパラメータがsort実装されましたpandas.concatとDataFrame.append。

ソート：ブール値、デフォルトなし

結合が「外部」のときに非連結軸がまだ整列されていない場合は、非連結軸をソートします。現在のデフォルトの並べ替えは非推奨であり、将来のバージョンのパンダでは並べ替えなしに変更される予定です。

明示的にsort = Trueを渡して、警告を消し、ソートします。明示的にsort = Falseを渡して、警告を消し、ソートしません。

これは、非連結軸の順序をすでに保持しているjoin = 'inner'の場合は効果がありません。

したがって、両方のDataFrameに同じ順序で同じ列がある場合、警告や並べ替えはありません。

df1 = pd.DataFrame({"a": [1, 2], "b": [0, 8]}, columns=['a', 'b'])
df2 = pd.DataFrame({"a": [4, 5], "b": [7, 3]}, columns=['a', 'b'])

print (pd.concat([df1, df2]))
   a  b
0  1  0
1  2  8
0  4  7
1  5  3

df1 = pd.DataFrame({"a": [1, 2], "b": [0, 8]}, columns=['b', 'a'])
df2 = pd.DataFrame({"a": [4, 5], "b": [7, 3]}, columns=['b', 'a'])

print (pd.concat([df1, df2]))
   b  a
0  0  1
1  8  2
0  7  4
1  3  5

ただし、DataFrameの列が異なる場合、または同じ列の順序が異なる場合、パラメーターsortが明示的に設定されていない場合（sort=Noneデフォルト値）、pandasは警告を返します。

df1 = pd.DataFrame({"a": [1, 2], "b": [0, 8]}, columns=['b', 'a'])
df2 = pd.DataFrame({"a": [4, 5], "b": [7, 3]}, columns=['a', 'b'])

print (pd.concat([df1, df2]))

FutureWarning：非連結軸が整列されていないために並べ替えます。

   a  b
0  1  0
1  2  8
0  4  7
1  5  3

print (pd.concat([df1, df2], sort=True))
   a  b
0  1  0
1  2  8
0  4  7
1  5  3

print (pd.concat([df1, df2], sort=False))
   b  a
0  0  1
1  8  2
0  7  4
1  3  5

データフレームは、異なる列を持っているが、最初の列が整列されている場合-それらが正しく（列お互いに割り当てられるaとbからdf1とaとbからdf2、それらが両方に存在するので、以下の例では）。両方ではなく一方のDataFrameに存在する他の列の場合、欠落した値が作成されます。

最後に、を渡すとsort=True、列はアルファベット順にソートされます。場合はsort=False第二DafaFrameが最初に含まれていない列があり、彼らがいないソートと最後に追加されます。

df1 = pd.DataFrame({"a": [1, 2], "b": [0, 8], 'e':[5, 0]}, 
                    columns=['b', 'a','e'])
df2 = pd.DataFrame({"a": [4, 5], "b": [7, 3], 'c':[2, 8], 'd':[7, 0]}, 
                    columns=['c','b','a','d'])

print (pd.concat([df1, df2]))

FutureWarning：非連結軸が整列されていないために並べ替えます。

   a  b    c    d    e
0  1  0  NaN  NaN  5.0
1  2  8  NaN  NaN  0.0
0  4  7  2.0  7.0  NaN
1  5  3  8.0  0.0  NaN

print (pd.concat([df1, df2], sort=True))
   a  b    c    d    e
0  1  0  NaN  NaN  5.0
1  2  8  NaN  NaN  0.0
0  4  7  2.0  7.0  NaN
1  5  3  8.0  0.0  NaN

print (pd.concat([df1, df2], sort=False))

   b  a    e    c    d
0  0  1  5.0  NaN  NaN
1  8  2  0.0  NaN  NaN
0  7  4  NaN  2.0  7.0
1  3  5  NaN  8.0  0.0

あなたのコードでは：

placement_by_video_summary = placement_by_video_summary.drop(placement_by_video_summary_new.index)
                                                       .append(placement_by_video_summary_new, sort=True)
                                                       .sort_index()
— イズレエル
ソース
21
私はこれを完全には理解していません：In a future version of pandas pandas.concat() and DataFrame.append() will no longer sort the non-concatenation axis when it is not already aligned. とはnon-concatenation axis何ですか、そして結果はどのように見えるでしょうか？列aと列bは一致しませんか？または、列の順序だけが異なりますか？
— オファーは
9
どういうis not aligned意味かは明確ではありませんが、コメントしていただけますか？
— mr_and_Mrs_D 2018
1
aligned軸のレベルが同じであることを意味すると思います。何らかの違いがある場合、それらはもはや存在せずaligned、この動作をトリガーします（たとえば、軸のレベルが['c','b','a']とである場合['a']）
— Robert Muil 2018
3
@RobertMuillevelここでこの用語を使用するlevelと、MultiIndexがある場合にパンダのデータフレームに特定の意味があるため、混乱を招く可能性があると思います。私が理解alignedしていることから、この文脈では、行/列インデックスの順序を指します。したがって、非連結軸のインデックスの順序が2つのフレームで異なる場合は、渡された最初のフレームで順序を保持し、一致するように2番目のフレームを並べ替えるか、連結前に両方のフレームのインデックスを並べ替えるかを指定できます。これは私にとっても紛らわしい領域なので、修正を歓迎します！
— ac 2419年
の場合、列は整列されtuple(df1.columns) == tuple(df2.columns)ます。非連結軸は、DataFrameがつなぎ合わされている継ぎ目に平行な軸（行または列）です。
— BallpointBen
107

jezraelの答えは良いですが、私が持っていた質問には答えませんでした。「ソート」フラグを間違って取得すると、データが混乱するのでしょうか。答えは明らかに「いいえ」です、どちらにしても大丈夫です。

from pandas import DataFrame, concat

a = DataFrame([{'a':1,      'c':2,'d':3      }])
b = DataFrame([{'a':4,'b':5,      'd':6,'e':7}])

>>> concat([a,b],sort=False)
   a    c  d    b    e
0  1  2.0  3  NaN  NaN
0  4  NaN  6  5.0  7.0

>>> concat([a,b],sort=True)
   a    b    c  d    e
0  1  NaN  2.0  3  NaN
0  4  5.0  NaN  6  7.0
— RLC
ソース
何が正確にソートされているか、ソートされていないのですか？
— ベン
2
@Benは、列の順序がデータフレーム間で異なる場合に警告が表示されます。sort = Trueの場合にわかるように、連結後の列はアルファベット順にソートされます
— MP 2319
この例ではそうではありませんが、複数のSeriesまたはDataFrameをDatetimeIndexと連結すると、行は時系列ではなくなります。技術的にはデータが混乱することはありませんが、結果が読みにくくなる可能性があります。
— hugovdberg
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.