У меня есть файл csv, который не отображается правильно, pandas.read_csv
когда я фильтрую столбцы usecols
и использую несколько индексов.
import pandas as pd
csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""
f = open('foo.csv', 'w')
f.write(csv)
f.close()
df1 = pd.read_csv('foo.csv',
header=0,
names=["dummy", "date", "loc", "x"],
index_col=["date", "loc"],
usecols=["dummy", "date", "loc", "x"],
parse_dates=["date"])
print df1
# Ignore the dummy columns
df2 = pd.read_csv('foo.csv',
index_col=["date", "loc"],
usecols=["date", "loc", "x"], # <----------- Changed
parse_dates=["date"],
header=0,
names=["dummy", "date", "loc", "x"])
print df2
Я ожидаю, что df1 и df2 должны быть одинаковыми, за исключением отсутствующего фиктивного столбца, но столбцы имеют неправильную маркировку. Также дата анализируется как дата.
In [118]: %run test.py
dummy x
date loc
2009-01-01 a bar 1
2009-01-02 a bar 3
2009-01-03 a bar 5
2009-01-01 b bar 1
2009-01-02 b bar 3
2009-01-03 b bar 5
date
date loc
a 1 20090101
3 20090102
5 20090103
b 1 20090101
3 20090102
5 20090103
Использование номеров столбцов вместо имен вызывает у меня ту же проблему. Я могу обойти проблему, отбросив фиктивный столбец после шага read_csv, но я пытаюсь понять, что происходит не так. Я использую панды 0.10.1.
edit: исправлено неправильное использование заголовка.
header
иnames
ключевые слова не правильно (именно поэтому первый ряд отсутствует в вашем примере.header
Ожидает Int ( по умолчанию 0) в строке с заголовком. Потому что вы даете «True» , который интерпретируется как 1, вторая строка (первая строка данных) используется в качестве заголовка и отсутствует. Однако имена столбцов верны, поскольку вы перезаписываете ихnames
аргументом. Но вы можете оставить их, и первая строка используется для имен столбцов по умолчанию. Однако это не решает ваш первоначальный вопрос.usecols
ошибку. Возможно, связано с ошибкой 2654 ?Ответы:
Ответ @chip полностью упускает из виду два аргумента ключевого слова.
Это решение исправляет эти странности:
import pandas as pd from StringIO import StringIO csv = r"""dummy,date,loc,x bar,20090101,a,1 bar,20090102,a,3 bar,20090103,a,5 bar,20090101,b,1 bar,20090102,b,3 bar,20090103,b,5""" df = pd.read_csv(StringIO(csv), header=0, index_col=["date", "loc"], usecols=["date", "loc", "x"], parse_dates=["date"])
Что дает нам:
x date loc 2009-01-01 a 1 2009-01-02 a 3 2009-01-03 a 5 2009-01-01 b 1 2009-01-02 b 3 2009-01-03 b 5
источник
header=0
. Вы хотите использовать,header=None
а затем использоватьnames
дополнительно.usecols
с целочисленными индексами для столбцов, которые нужно сохранить @Mack?Этот код выполняет то, что вы хотите, - также это странно и определенно содержит ошибки:
Я заметил, что это работает, когда:
а) вы указываете
index_col
отн. к количеству столбцов, которые вы действительно используете, поэтому в этом примере это три столбца, а не четыре (вы бросаетеdummy
и начинаете считать с этого момента)б) то же самое для
parse_dates
в) не так
usecols
;) по понятным причинамг) здесь я адаптировал,
names
чтобы отразить это поведениеimport pandas as pd from StringIO import StringIO csv = """dummy,date,loc,x bar,20090101,a,1 bar,20090102,a,3 bar,20090103,a,5 bar,20090101,b,1 bar,20090102,b,3 bar,20090103,b,5 """ df = pd.read_csv(StringIO(csv), index_col=[0,1], usecols=[1,2,3], parse_dates=[0], header=0, names=["date", "loc", "", "x"]) print df
который печатает
x date loc 2009-01-01 a 1 2009-01-02 a 3 2009-01-03 a 5 2009-01-01 b 1 2009-01-02 b 3 2009-01-03 b 5
источник
names
чисел и на основеusecols
правильных данных.Если ваш CSV-файл содержит дополнительные данные, столбцы можно удалить из DataFrame после импорта.
import pandas as pd from StringIO import StringIO csv = r"""dummy,date,loc,x bar,20090101,a,1 bar,20090102,a,3 bar,20090103,a,5 bar,20090101,b,1 bar,20090102,b,3 bar,20090103,b,5""" df = pd.read_csv(StringIO(csv), index_col=["date", "loc"], usecols=["dummy", "date", "loc", "x"], parse_dates=["date"], header=0, names=["dummy", "date", "loc", "x"]) del df['dummy']
Что дает нам:
x date loc 2009-01-01 a 1 2009-01-02 a 3 2009-01-03 a 5 2009-01-01 b 1 2009-01-02 b 3 2009-01-03 b 5
источник
Вам нужно просто добавить
index_col=False
параметрdf1 = pd.read_csv('foo.csv', header=0, index_col=False, names=["dummy", "date", "loc", "x"], index_col=["date", "loc"], usecols=["dummy", "date", "loc", "x"], parse_dates=["date"]) print df1
источник
сначала импортируйте csv и используйте csv.DictReader, его легко обработать ...
источник