Как избавиться от столбца «Безымянный: 0» в панде DataFrame?

152

У меня есть ситуация, когда иногда, когда я читаю csvиз, dfя получаю нежелательный индексоподобный столбец с именем unnamed:0.

file.csv

,A,B,C
0,1,2,3
1,4,5,6
2,7,8,9

CSV читается с этим:

pd.read_csv('file.csv')

   Unnamed: 0  A  B  C
0           0  1  2  3
1           1  4  5  6
2           2  7  8  9

Это очень раздражает! У кого-нибудь есть идеи как от этого избавиться?

python pandas csv dataframe Майкл Пердью
источник

Ответы:

186

Это столбец индекса, передать, index=Falseчтобы не записывать его, см. Документы

Пример:

In [37]:
df = pd.DataFrame(np.random.randn(5,3), columns=list('abc'))
pd.read_csv(io.StringIO(df.to_csv()))

Out[37]:
   Unnamed: 0         a         b         c
0           0  0.109066 -1.112704 -0.545209
1           1  0.447114  1.525341  0.317252
2           2  0.507495  0.137863  0.886283
3           3  1.452867  1.888363  1.168101
4           4  0.901371 -0.704805  0.088335

сравнить с:

In [38]:
pd.read_csv(io.StringIO(df.to_csv(index=False)))

Out[38]:
          a         b         c
0  0.109066 -1.112704 -0.545209
1  0.447114  1.525341  0.317252
2  0.507495  0.137863  0.886283
3  1.452867  1.888363  1.168101
4  0.901371 -0.704805  0.088335

Вы также можете при желании сказать, read_csvчто первый столбец является столбцом индекса, передавая index_col=0:

In [40]:
pd.read_csv(io.StringIO(df.to_csv()), index_col=0)

Out[40]:
          a         b         c
0  0.109066 -1.112704 -0.545209
1  0.447114  1.525341  0.317252
2  0.507495  0.137863  0.886283
3  1.452867  1.888363  1.168101
4  0.901371 -0.704805  0.088335
EdChum
источник
Часто наборы данных, которые вы получаете из других источников, уже содержат этот столбец, поэтому он не помогает понять, как создать «правильный» набор данных с использованием правильных параметров. Есть ли способ удалить этот столбец, когда вы загружаете его, когда он уже там?
Calvin Ku
2
@CalvinKu, к сожалению, нет skipcolsаргумента для read_csv, после чтения в CSV вы можете просто сделать, df = df.drop(columns=df.columns[0])или вы можете просто прочитать столбцы вначале, а затем передать столбцы минус первый столбец как-то вроде, cols = pd.read_csv( ....., nrows=1).columnsа затем перечитать снова, df = pd.read_csv(....., usecols=cols[1:])что позволяет избежать накладных расходов на чтение лишняя колонна, а затем отбрасывая ее
EdChum
43

Эта проблема, скорее всего, проявляется потому, что ваш CSV был сохранен вместе с его RangeIndex(который обычно не имеет имени). Исправление на самом деле должно быть сделано при сохранении DataFrame, но это не всегда вариант.

Как избежать проблемы: read_csvс index_col аргументом

ИМО, самое простое решение было бы прочитать безымянный столбец в качестве индекса . Укажите index_col=[0]аргумент pd.read_csv, который читается в первом столбце как индекс. 

df = pd.DataFrame('x', index=range(5), columns=list('abc'))
df

   a  b  c
0  x  x  x
1  x  x  x
2  x  x  x
3  x  x  x
4  x  x  x

# Save DataFrame to CSV.
df.to_csv('file.csv')

pd.read_csv('file.csv')

   Unnamed: 0  a  b  c
0           0  x  x  x
1           1  x  x  x
2           2  x  x  x
3           3  x  x  x
4           4  x  x  x

# Now try this again, with the extra argument.
pd.read_csv('file.csv', index_col=[0])

   a  b  c
0  x  x  x
1  x  x  x
2  x  x  x
3  x  x  x
4  x  x  x

Примечание. Во-
первых, вы могли бы избежать этого, используя index=Falseпри создании выходного CSV-файла, если ваш DataFrame не имеет индекса для начала.

df.to_csv('file.csv', index=False)

Но, как упоминалось выше, это не всегда вариант.

Решение проблемы с задержкой: фильтрация с str.match

Если вы не можете изменить код для чтения / записи в файл CSV, вы можете просто удалить столбец путем фильтрации с str.match:

df 

   Unnamed: 0  a  b  c
0           0  x  x  x
1           1  x  x  x
2           2  x  x  x
3           3  x  x  x
4           4  x  x  x

df.columns
# Index(['Unnamed: 0', 'a', 'b', 'c'], dtype='object')

df.columns.str.match('Unnamed')
# array([ True, False, False, False])

df.loc[:, ~df.columns.str.match('Unnamed')]

   a  b  c
0  x  x  x
1  x  x  x
2  x  x  x
3  x  x  x
4  x  x  x
cs95
источник
1
Большое спасибо! Это index_col=[0]исправление легко решило эту досадную проблему «без имени: 0» и избавило код от многословного изобретения колеса.
user48115
1
Чтобы проехать по столбцам Безымянный, вы также можете использовать регулярные выражения, такие какdf.drop(df.filter(regex="Unname"),axis=1, inplace=True)
Sarah
8

В другом случае это может произойти, если ваши данные были неправильно записаны, csvчтобы каждая строка заканчивалась запятой. Это оставит вас с безымянным столбцом Unnamed: xв конце ваших данных, когда вы попытаетесь прочитать их в df.

Brendan
источник
2
Раньше я usecols=range(0,10)обрезал безымянную колонку
Нэш
8

Чтобы получить доступ ко всем столбцам Безымянный, вы также можете использовать регулярные выражения, такие как df.drop(df.filter(regex="Unname"),axis=1, inplace=True)

Сара
источник
2

Просто удалите этот столбец, используя: del df['column_name']

ssareen
источник