「ValueError：重複する軸からインデックスを再作成できない」とはどういう意味ですか？

254

私はAを取得していますValueError: cannot reindex from a duplicate axis、私は一定の値にインデックスを設定しようとしていたとき。簡単な例で再現してみましたが、できませんでした。

これがipdbトレース内の私のセッションです。文字列インデックス、整数列、浮動小数点値を持つデータフレームがあります。しかしsum、すべての列の合計のインデックスを作成しようとすると、ValueError: cannot reindex from a duplicate axisエラーが発生します。同じ特性を持つ小さなDataFrameを作成しましたが、問題を再現できませんでした。何が欠けているのでしょうか？

私は本当に理解していないValueError: cannot reindex from a duplicate axis、このエラーメッセージはどういう意味、手段は？多分これは私が問題を診断するのを助けるでしょう、そしてこれは私の質問の最も答えやすい部分です。

ipdb> type(affinity_matrix)
<class 'pandas.core.frame.DataFrame'>
ipdb> affinity_matrix.shape
(333, 10)
ipdb> affinity_matrix.columns
Int64Index([9315684, 9315597, 9316591, 9320520, 9321163, 9320615, 9321187, 9319487, 9319467, 9320484], dtype='int64')
ipdb> affinity_matrix.index
Index([u'001', u'002', u'003', u'004', u'005', u'008', u'009', u'010', u'011', u'014', u'015', u'016', u'018', u'020', u'021', u'022', u'024', u'025', u'026', u'027', u'028', u'029', u'030', u'032', u'033', u'034', u'035', u'036', u'039', u'040', u'041', u'042', u'043', u'044', u'045', u'047', u'047', u'048', u'050', u'053', u'054', u'055', u'056', u'057', u'058', u'059', u'060', u'061', u'062', u'063', u'065', u'067', u'068', u'069', u'070', u'071', u'072', u'073', u'074', u'075', u'076', u'077', u'078', u'080', u'082', u'083', u'084', u'085', u'086', u'089', u'090', u'091', u'092', u'093', u'094', u'095', u'096', u'097', u'098', u'100', u'101', u'103', u'104', u'105', u'106', u'107', u'108', u'109', u'110', u'111', u'112', u'113', u'114', u'115', u'116', u'117', u'118', u'119', u'121', u'122', ...], dtype='object')

ipdb> affinity_matrix.values.dtype
dtype('float64')
ipdb> 'sums' in affinity_matrix.index
False

ここにエラーがあります：

ipdb> affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0)
*** ValueError: cannot reindex from a duplicate axis

簡単な例でこれを再現しようとしたが失敗した

In [32]: import pandas as pd

In [33]: import numpy as np

In [34]: a = np.arange(35).reshape(5,7)

In [35]: df = pd.DataFrame(a, ['x', 'y', 'u', 'z', 'w'], range(10, 17))

In [36]: df.values.dtype
Out[36]: dtype('int64')

In [37]: df.loc['sums'] = df.sum(axis=0)

In [38]: df
Out[38]: 
      10  11  12  13  14  15   16
x      0   1   2   3   4   5    6
y      7   8   9  10  11  12   13
u     14  15  16  17  18  19   20
z     21  22  23  24  25  26   27
w     28  29  30  31  32  33   34
sums  70  75  80  85  90  95  100

python pandas

— アカヴァル
ソース

1

アフィニティマトリックスの実際の列名を難読化した可能性はありますか？（つまり、機密情報を隠すために実際の値を別の値に置き換えました）

— Korem

@Korem、私はこれは本当だとは思いませんが、これが本当であるとしても、なぜこれが上記のエラーを引き起こすのでしょうか？

— Akavall 14

2

割り当てられたインデックスに重複する値がある場合、通常これが発生します。あなたの場合あなたは行を割り当てているので、私は列名の重複を予期しました。それが私が尋ねた理由です。

— Korem、2014

@Korem、実際、実際のデータには重複したインデックス値があり、重複したインデックス値が存在する場合、小さな例でエラーを再現できました。あなたは私の質問に完全に答えました。ありがとうございました。それを答えにしてもいいですか。

— Akavall 14

170

このエラーは通常、インデックスに重複した値があるときに列に結合/割り当てを行うと発生します。行に割り当てているので、に重複する値があるaffinity_matrix.columnsと思われますが、おそらく質問には示されていません。

— コレム
ソース

20

もっと正確に言うと、私の場合、重複した値がにありましたがaffinity_matrix.index、これは同じ概念だと思います。

— Akavall 14

24

後でこれにくる人のために、indexとの両方rowでcolumn names、行インデックスに20分を費やしましたが、このエラーの原因となる重複した列名が表示されることがわかりました。

— Jasonゴール

これに追加するために、列のリストでデータフレームのインデックスを再作成しようとしたときにこのエラーに遭遇しました。奇妙なことに、私の複製は元のデータフレームにあったので、両方を確認してください！

— m8_

163

他の人が言ったように、おそらく元のインデックスに重複した値があります。それらを見つけるには、次のようにします。

df[df.index.duplicated()]

— マシュー
ソース

39

重複インデックス、使用して行を削除するには：df = df[~df.index.duplicated()]

— tuomastik

4

以下のためDatetimeIndexのEDデータフレーム、あなたができるresample所望の周波数にしてからは取る.first()、.mean()など

— BallpointBen

28

重複する値を持つインデックスは、他のDataFrameを連結してDataFrameを作成する場合によく発生します。インデックスの値を保持する必要がなく、それらを一意の値にしたい場合は、データを連結するときにsetを設定しignore_index=Trueます。

または、を使用する代わりに、現在のインデックスを新しいインデックスで上書きするにはdf.reindex()、次のように設定します。

df.index = new_index

— レベク
ソース

8

ignore_index = Trueを使用して、コードを連結されたデータフレームで動作させました

— Gabi Lee

確かにignore_index=False、デフォルトです。オプションを使用してappendの動作を変更する場合は、に設定しているため、変更する必要がありますTrue。

— Jeffrey Benjamin Brown

17

このエラーでまだ苦労している人にとっては、同じ名前で重複した列を誤って作成した場合にも発生する可能性があります。次のように重複する列を削除します。

df = df.loc[:,~df.columns.duplicated()]

— パーセルタン
ソース

12

.values最後に使用するエラーをスキップするだけです。

affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0).values

— ハディジ
ソース

これはまさに私が必要としたものです！新しい列を作成しようとしていますが、重複しているインデックスがありました。使用.valuesしたトリック

— Paul Wildenhain

8

今日、このような新しい列を追加したいときにこのエラーに遭遇しました

df_temp['REMARK_TYPE'] = df.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

のREMARK列を処理してdf_temp1または0を返したかったのですが、で間違った変数を入力しましたdf。そしてそれはこのようなエラーを返しました：

----> 1 df_temp['REMARK_TYPE'] = df.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in __setitem__(self, key, value)
   2417         else:
   2418             # set column
-> 2419             self._set_item(key, value)
   2420 
   2421     def _setitem_slice(self, key, value):

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in _set_item(self, key, value)
   2483 
   2484         self._ensure_valid_index(value)
-> 2485         value = self._sanitize_column(key, value)
   2486         NDFrame._set_item(self, key, value)
   2487 

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in _sanitize_column(self, key, value, broadcast)
   2633 
   2634         if isinstance(value, Series):
-> 2635             value = reindexer(value)
   2636 
   2637         elif isinstance(value, DataFrame):

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in reindexer(value)
   2625                     # duplicate axis
   2626                     if not value.index.is_unique:
-> 2627                         raise e
   2628 
   2629                     # other

ValueError: cannot reindex from a duplicate axis

ご覧のとおり、正しいコードは

df_temp['REMARK_TYPE'] = df_temp.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

ためdfとdf_temp行の数が異なります。だから戻ったValueError: cannot reindex from a duplicate axis。

あなたがそれを理解でき、私の答えが他の人々が彼らのコードをデバッグするのに役立つことを願っています。

— GoingMyWay
ソース

4

私の場合、このエラーは値の重複が原因ではなく、短いシリーズをデータフレームに結合しようとしたためにポップアップしました。両方とも同じインデックスを持っていましたが、シリーズの行数が少なかったのです（最初の数行が欠落しています）。以下は私の目的のために働きました：

df.head()
                          SensA
date                           
2018-04-03 13:54:47.274   -0.45
2018-04-03 13:55:46.484   -0.42
2018-04-03 13:56:56.235   -0.37
2018-04-03 13:57:57.207   -0.34
2018-04-03 13:59:34.636   -0.33

series.head()
date
2018-04-03 14:09:36.577    62.2
2018-04-03 14:10:28.138    63.5
2018-04-03 14:11:27.400    63.1
2018-04-03 14:12:39.623    62.6
2018-04-03 14:13:27.310    62.5
Name: SensA_rrT, dtype: float64

df = series.to_frame().combine_first(df)

df.head(10)
                          SensA  SensA_rrT
date                           
2018-04-03 13:54:47.274   -0.45        NaN
2018-04-03 13:55:46.484   -0.42        NaN
2018-04-03 13:56:56.235   -0.37        NaN
2018-04-03 13:57:57.207   -0.34        NaN
2018-04-03 13:59:34.636   -0.33        NaN
2018-04-03 14:00:34.565   -0.33        NaN
2018-04-03 14:01:19.994   -0.37        NaN
2018-04-03 14:02:29.636   -0.34        NaN
2018-04-03 14:03:31.599   -0.32        NaN
2018-04-03 14:04:30.779   -0.33        NaN
2018-04-03 14:05:31.733   -0.35        NaN
2018-04-03 14:06:33.290   -0.38        NaN
2018-04-03 14:07:37.459   -0.39        NaN
2018-04-03 14:08:36.361   -0.36        NaN
2018-04-03 14:09:36.577   -0.37       62.2

— テフィンク
ソース

ありがとうございました！私はフィルタリングに慣れ、後でデータフレームとシリーズをマージするようになりました：df_larger_dataframe['values'] = df_filtered_dataframe['filtered_values'] そしてそれは最近TimeSeriesで動作していません-あなたのコードはそれを解決しました！

— tw0000

2

同じ問題で数時間を無駄にしました。私の場合、apply関数を使用する前に、データフレームのreset_index（）を実行する必要がありました。1つのデータセットは1つのインデックスしか持つことができないため、マージまたは別のインデックス付きデータセットから検索する前に、インデックスをリセットする必要があります。

— リシジャイン
ソース

2

私のために働いた簡単な修正

走る df.reset_index(inplace=True)グループ化する前にします。

ソリューションに対するこのgithubコメントに感謝します。

— コナー
ソース

@Chris_vrがデータフレームを返すようにするには、インプレースパーツを削除します

— Connor