Я получаю, ValueError: cannot reindex from a duplicate axisкогда я пытаюсь установить индекс на определенное значение. Я попытался воспроизвести это на простом примере, но я не смог этого сделать.
Вот мой сеанс внутри ipdbтрассировки. У меня есть DataFrame со строковым индексом и целочисленными столбцами, значениями с плавающей запятой. Однако, когда я пытаюсь создать sumиндекс для суммы всех столбцов, я получаю сообщение ValueError: cannot reindex from a duplicate axisоб ошибке. Я создал небольшой DataFrame с такими же характеристиками, но не смог воспроизвести проблему, что я мог упустить?
Я не очень понимаю, что ValueError: cannot reindex from a duplicate axisозначает, что означает это сообщение об ошибке? Может быть, это поможет мне диагностировать проблему, и это самая ответственная часть моего вопроса.
ipdb> type(affinity_matrix)
<class 'pandas.core.frame.DataFrame'>
ipdb> affinity_matrix.shape
(333, 10)
ipdb> affinity_matrix.columns
Int64Index([9315684, 9315597, 9316591, 9320520, 9321163, 9320615, 9321187, 9319487, 9319467, 9320484], dtype='int64')
ipdb> affinity_matrix.index
Index([u'001', u'002', u'003', u'004', u'005', u'008', u'009', u'010', u'011', u'014', u'015', u'016', u'018', u'020', u'021', u'022', u'024', u'025', u'026', u'027', u'028', u'029', u'030', u'032', u'033', u'034', u'035', u'036', u'039', u'040', u'041', u'042', u'043', u'044', u'045', u'047', u'047', u'048', u'050', u'053', u'054', u'055', u'056', u'057', u'058', u'059', u'060', u'061', u'062', u'063', u'065', u'067', u'068', u'069', u'070', u'071', u'072', u'073', u'074', u'075', u'076', u'077', u'078', u'080', u'082', u'083', u'084', u'085', u'086', u'089', u'090', u'091', u'092', u'093', u'094', u'095', u'096', u'097', u'098', u'100', u'101', u'103', u'104', u'105', u'106', u'107', u'108', u'109', u'110', u'111', u'112', u'113', u'114', u'115', u'116', u'117', u'118', u'119', u'121', u'122', ...], dtype='object')
ipdb> affinity_matrix.values.dtype
dtype('float64')
ipdb> 'sums' in affinity_matrix.index
FalseВот ошибка:
ipdb> affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0)
*** ValueError: cannot reindex from a duplicate axisЯ попытался воспроизвести это на простом примере, но мне не удалось
In [32]: import pandas as pd
In [33]: import numpy as np
In [34]: a = np.arange(35).reshape(5,7)
In [35]: df = pd.DataFrame(a, ['x', 'y', 'u', 'z', 'w'], range(10, 17))
In [36]: df.values.dtype
Out[36]: dtype('int64')
In [37]: df.loc['sums'] = df.sum(axis=0)
In [38]: df
Out[38]:
10 11 12 13 14 15 16
x 0 1 2 3 4 5 6
y 7 8 9 10 11 12 13
u 14 15 16 17 18 19 20
z 21 22 23 24 25 26 27
w 28 29 30 31 32 33 34
sums 70 75 80 85 90 95 100
Ответы:
Эта ошибка обычно возникает, когда вы присоединяетесь / присваиваете столбцу, когда в индексе есть повторяющиеся значения. Поскольку вы назначаете строку, я подозреваю, что в ней есть дублирующее значение
affinity_matrix.columns, возможно, не отображаемое в вашем вопросе.источник
affinity_matrix.index, но я думаю, что это та же самая концепция.indexозначает и то,rowи другоеcolumn names, потратив 20 минут на индекс строки, но оказалось, что я получил дублированные имена столбцов, которые вызвали эту ошибку.Как уже говорили другие, у вас, вероятно, есть дубликаты значений в вашем исходном индексе. Чтобы найти их, сделайте это:
df[df.index.duplicated()]источник
df = df[~df.index.duplicated()]DatetimeIndexред dataframes, вы можетеresampleна нужную частоту , а затем принять.first(),.mean()и т.д.Индексы с дублирующимися значениями часто возникают, если вы создаете DataFrame путем объединения других DataFrame. Если вы не заботитесь о сохранении значений вашего индекса, и вы хотите, чтобы они были уникальными значениями, когда вы объединяете данные, установите
ignore_index=True.В качестве альтернативы, чтобы перезаписать ваш текущий индекс новым, вместо использования
df.reindex(), установите:источник
ignore_index=Falseэто значение по умолчанию; если использование параметра вообще означает изменениеappendповедения, то это должно произойти, потому что вы установили его наTrue.Для людей, которые все еще борются с этой ошибкой, это также может произойти, если вы случайно создадите дубликат столбца с тем же именем. Удалить дубликаты столбцов, например, так:
источник
Просто пропустите ошибку, используя
.valuesв конце.источник
.valuesсделал трюкЯ столкнулся с этой ошибкой сегодня, когда я хотел добавить новый столбец, как это
Я хотел обработать
REMARKстолбец,df_tempчтобы вернуть 1 или 0. Однако я набрал неправильную переменную сdf. И это возвратило ошибку как это:Как вы можете видеть, правильный код должен быть
Потому
dfиdf_tempесть разное количество строк. Так и вернулосьValueError: cannot reindex from a duplicate axis.Надеюсь, вы понимаете это, и мой ответ может помочь другим людям отладить их код.
источник
В моем случае эта ошибка появилась не из-за повторяющихся значений, а из-за того, что я попытался соединить более короткую серию с датафреймом: у обоих был один и тот же индекс, но у серии было меньше строк (отсутствовали верхние несколько). Следующие работали для моих целей:
источник
df_larger_dataframe['values'] = df_filtered_dataframe['filtered_values']и в последнее время он не работал на TimeSeries - ваш код решил это!Я потратил пару часов на одну и ту же проблему. В моем случае мне пришлось выполнить reset_index () из фрейма данных перед использованием функции apply. Перед объединением или поиском другого индексированного набора данных необходимо сбросить индекс, так как 1 набор данных может иметь только 1 индекс.
источник
Простое исправление, которое сработало для меня
Запустите
df.reset_index(inplace=True)перед группировкой.Спасибо за этот комментарий github для решения.
источник