Вопросы с тегом «dataframe»

434
Как отфильтровать данные Pandas, используя 'in' и 'not in', как в SQL

Как я могу достичь эквивалентов SQL INи NOT IN? У меня есть список с необходимыми значениями. Вот сценарий: df = pd.DataFrame({'countries':['US','UK','Germany','China']}) countries = ['UK','China'] # pseudo-code: df[df['countries'] not in countries] Мой текущий способ сделать это заключается в...

412
UnicodeDecodeError при чтении CSV-файла в Pandas с Python

Я запускаю программу, которая обрабатывает 30 000 похожих файлов. Случайное число из них останавливается и выдает эту ошибку ... File "C:\Importer\src\dfman\importer.py", line 26, in import_chr data = pd.read_csv(filepath, names=fields) File "C:\Python33\lib\site-packages\pandas\io\parsers.py",...

404
Импортируйте несколько CSV-файлов в панды и объединяйте их в один DataFrame

Я хотел бы прочитать несколько CSV-файлов из каталога в панды и объединить их в один большой DataFrame. Я не был в состоянии понять это все же. Вот что у меня так далеко: import glob import pandas as pd # get data file names path =r'C:\DRO\DCL_rawdata_files' filenames = glob.glob(path + "/*.csv")...

400
Изменение имен столбцов фрейма данных

У меня есть фрейм данных с именем «newprice» (см. Ниже), и я хочу изменить имена столбцов в моей программе на R. > newprice Chang. Chang. Chang. 1 100 36 136 2 120 -33 87 3 150 14 164 На самом деле это то, что я делаю: names(newprice)[1]<-paste("premium")...

395
Выбор ряда серий / данных панд по целочисленному индексу

Мне любопытно, почему df[2]не поддерживается, пока df.ix[2]и df[2:3]работают оба. In [26]: df.ix[2] Out[26]: A 1.027680 B 1.514210 C -1.466963 D -0.162339 Name: 2000-01-03 00:00:00 In [27]: df[2:3] Out[27]: A B C D 2000-01-03 1.02768 1.51421 -1.466963 -0.162339 Я ожидал df[2]бы работать так же, как...

370
Истинная ценность Серии неоднозначна. Используйте a.empty, a.bool (), a.item (), a.any () или a.all ()

Возникла проблема с фильтрацией моего результирующего кадра данных с orусловием. Я хочу, чтобы мой результат dfизвлекал все varзначения столбцов , которые выше 0,25 и ниже -0,25. Эта логика ниже дает мне неоднозначное значение истины, однако оно работает, когда я разделяю эту фильтрацию на две...

370
Построение pandas DataFrame из значений в переменных дает «ValueError: Если вы используете все скалярные значения, вы должны передать индекс»

Это может быть простой вопрос, но я не могу понять, как это сделать. Допустим, у меня есть две переменные следующим образом. a = 2 b = 3 Я хочу построить DataFrame из этого: df2 = pd.DataFrame({'A':a,'B':b}) Это приводит к ошибке: ValueError: Если используются все скалярные значения, вы должны...

369
Как применить функцию к двум столбцам Pandas dataframe

Предположим, у меня dfесть столбцы 'ID', 'col_1', 'col_2'. И я определяю функцию: f = lambda x, y : my_function_expression, Теперь я хочу , чтобы применить fк dfдвум колонкам «S 'col_1', 'col_2'для поэлементнога рассчитает новый столбец 'col_3', несколько как: df['col_3'] =...

366
Извлечение определенных столбцов из фрейма данных

У меня есть фрейм данных R с 6 столбцами, и я хочу создать новый фрейм данных, который имеет только три столбца. Предполагая , что мой кадр данных df, и я хочу , чтобы извлечь колонны A, Bи Eэто единственная команда , которую я могу понять: data.frame(df$A,df$B,df$E) Есть ли более компактный способ...

357
Как суммировать переменную по группе

У меня есть фрейм данных с двумя столбцами. Первый столбец содержит категории, такие как «Первый», «Второй», «Третий», а второй столбец содержит числа, которые представляют количество раз, когда я видел определенные группы из «Категории». Например: Category Frequency First 10 First 15 First 5...

347
Как получить значение из ячейки информационного кадра?

Я построил условие, которое извлекает ровно одну строку из моего фрейма данных: d2 = df[(df['l_ext']==l_ext) & (df['item']==item) & (df['wn']==wn) & (df['wd']==1)] Теперь я хотел бы взять значение из определенного столбца: val = d2['col_name'] Но в результате я получаю фрейм данных,...

336
Преобразовать список фреймов данных в один фрейм данных

У меня есть код, который в одном месте заканчивается списком фреймов данных, которые я действительно хочу преобразовать в один большой фрейм данных. Я получил несколько советов из предыдущего вопроса, который пытался сделать что-то похожее, но более сложное. Вот пример того, с чего я начинаю (это...

329
Панды: фильтровать строки DataFrame с оператором цепочки

Большинство операций в pandasможет быть выполнены с помощью оператора цепочки ( groupby, aggregate, apply, и т.д.), но единственным способом я нашел для фильтра строк с помощью обычной индексации кронштейна df_filtered = df[df['column'] == value] Это непривлекательно, так как требует, чтобы я...

324
Как создать тестовые и обучающие образцы из одного кадра данных с пандами?

У меня есть довольно большой набор данных в виде фрейма данных, и мне было интересно, как я смогу разделить фрейм данных на две случайные выборки (80% и 20%) для обучения и тестирования....

320
Панды read_csv low_memory и опции dtype

При звонке df = pd.read_csv('somefile.csv') Я получил: /Users/josh/anaconda/envs/py27/lib/python2.7/site-packages/pandas/io/parsers.py:1130: DtypeWarning: столбцы (4,5,7,16) имеют смешанные типы. Укажите опцию dtype при импорте или установите low_memory = False. Почему этот dtypeвариант связан с...

317
Как хранить данные с помощью Pandas

Прямо сейчас я импортирую довольно большой CSVфайл данных каждый раз, когда запускаю скрипт. Есть ли хорошее решение для того, чтобы держать этот фрейм данных постоянно доступным между запусками, чтобы мне не пришлось тратить все это время на ожидание запуска...

314
Pandas условное создание столбца серии / dataframe

У меня есть датафрейм по линии ниже: Type Set 1 A Z 2 B Z 3 B X 4 C Y Я хочу добавить еще один столбец к фрейму данных (или сгенерировать серию) той же длины, что и фрейм данных (= равное количество записей / строк), который устанавливает зеленый цвет, если Set = 'Z', и 'красный', если Set = иначе...