Вопросы с тегом «pandas»

84
Как мне создать новый столбец из вывода pandas groupby (). Sum ()?

Попытка создать новый столбец из groupbyрасчета. В приведенном ниже коде я получаю правильные рассчитанные значения для каждой даты (см. Группу ниже), но когда я пытаюсь создать с ним новый столбец ( df['Data4']), я получаю NaN. Итак, я пытаюсь создать новый столбец в фрейме данных с суммой...

84
Python, Pandas: записать содержимое DataFrame в текстовый файл

У меня есть pandas DataFrame вроде этого X Y Z Value 0 18 55 1 70 1 18 55 2 67 2 18 57 2 75 3 18 58 1 35 4 19 54 2 70 Я хочу записать эти данные в текстовый файл, который выглядит так: 18 55 1 70 18 55 2 67 18 57 2 75 18 58 1 35 19 54 2 70 Я пробовал что-то вроде f = open(writePath, 'a')...

84
Найдите уникальные значения в столбце и отсортируйте их

У меня есть фреймворк pandas. Я хочу напечатать уникальные значения одного из его столбцов в порядке возрастания. Вот как я это делаю: import pandas as pd df = pd.DataFrame({'A':[1,1,3,2,6,2,8]}) a = df['A'].unique() print a.sort() Проблема в том, что я получаю Noneна выходе....

83
Как объединить серию и DataFrame

Если вы пришли сюда в поисках информации о том, как объединить a DataFrameи Seriesиндекс , пожалуйста, посмотрите этот ответ . Первоначальное намерение OP состояло в том, чтобы спросить, как назначить элементы серии в качестве столбцов другому DataFrame . Если вам интересно узнать ответ на этот...

83
Несколько выходов ячеек IPython Notebook

Я запускаю эту ячейку в IPython Notebook: # salaries and teams are Pandas dataframe salaries.head() teams.head() В результате я получаю вывод только teamsкадра данных, а не обоих salariesи teams. Если я просто запускаю, salaries.head()я получаю результат для salariesкадра данных, но при запуске...

82
Как сгруппировать записи DataFrame pandas по дате в неуникальном столбце

Pandas DataFrameсодержит столбец с именем, "date"который содержит неуникальные datetimeзначения. Я могу сгруппировать строки в этом кадре, используя: data.groupby(data['date']) Однако при этом данные разбиваются по datetimeзначениям. Я хотел бы сгруппировать эти данные по годам, хранящимся в...

81
Удалить NaN из серии pandas

Есть ли способ удалить значения NaN из серии панда? У меня есть серия, в которой могут быть или не быть некоторые значения NaN, и я хотел бы вернуть копию серии со всеми удаленными NaN....

81
Сюжет панд не отображается

При использовании этого в скрипте (не в IPython) ничего не происходит, т.е. окно графика не появляется: import numpy as np import pandas as pd ts = pd.Series(np.random.randn(1000), index=pd.date_range('1/1/2000', periods=1000)) ts.plot() Даже при добавлении time.sleep(5)все равно ничего нет....

81
В какой ситуации я могу использовать Dask вместо Apache Spark? [закрыто]

Закрыто . Этот вопрос основан на мнении . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы на него можно было ответить с помощью фактов и цитат, отредактировав этот пост . Закрыт 4 года назад . Уточните этот вопрос В настоящее время я использую Pandas и...

81
Производительность Pandas применяется против np.vectorize для создания нового столбца из существующих столбцов

Я использую фреймы данных Pandas и хочу создать новый столбец как функцию существующих столбцов. Я не видел хорошего обсуждения разницы в скорости между df.apply()и np.vectorize(), поэтому подумал, что спрошу здесь. Функция Pandas apply()медленная. Из того, что я измерил (показано ниже в некоторых...

80
Агрегатная функция Pandas DataFrame с использованием нескольких столбцов

Есть ли способ написать функцию агрегирования, используемую в DataFrame.aggметоде, которая имела бы доступ к более чем одному столбцу агрегируемых данных? Типичными вариантами использования являются функции взвешенного среднего и взвешенного стандартного отклонения. Я бы хотел написать что-нибудь...

80
Заменить недопустимые значения на None в Pandas DataFrame

Есть ли способ заменить значения Noneв Pandas в Python? Вы можете использовать df.replace('pre', 'post')и можете заменить одно значение другим, но этого нельзя сделать, если вы хотите заменить на Noneзначение, которое при попытке получить странный результат. Итак, вот пример: df =...

80
Удаление / обрезка всех строк фрейма данных

Очистив значения фрейма данных с несколькими типами в python / pandas, я хочу обрезать строки. Сейчас я делаю это по двум инструкциям: import pandas as pd df = pd.DataFrame([[' a ', 10], [' c ', 5]]) df.replace('^\s+', '', regex=True, inplace=True) #front df.replace('\s+$', '', regex=True,...

79
Ошибка памяти при использовании pandas read_csv

Я пытаюсь сделать что-то довольно простое, читая большой файл csv в фреймворк pandas. data = pandas.read_csv(filepath, header = 0, sep = DELIMITER,skiprows = 2) Код либо не работает с a MemoryError, либо никогда не завершается. Использование памяти в диспетчере задач остановилось на 506 МБ, и...

25
Странная ошибка в Pandas и Numpy в отношении многопоточности

Большая часть функции Numpy по умолчанию включает многопоточность. например, я работаю на 8-ядерном компьютере Intel Cpu, если я запускаю скрипт import numpy as np x=np.random.random(1000000) for i in range(100000): np.sqrt(x) Linux topпокажет 800% загрузки процессора во время работы, что означает,...

23
Добавить новый столбец в фрейм данных на основе словаря

У меня есть датафрейм и словарь. Мне нужно добавить новый столбец в фрейм данных и рассчитать его значения на основе словаря. Машинное обучение, добавление новой функции на основе некоторой таблицы: score = {(1, 45, 1, 1) : 4, (0, 1, 2, 1) : 5} df = pd.DataFrame(data = { 'gender' : [1, 1, 0, 1, 1,...

20
Проверьте, содержит ли столбец pandas все элементы из списка

У меня есть df, как это: frame = pd.DataFrame({'a' : ['a,b,c', 'a,c,f', 'b,d,f','a,z,c']}) И список предметов: letters = ['a','c'] Моя цель - получить все строки из frameкоторых содержат как минимум 2 элемента вletters Я придумал это решение: for i in letters: subframe =...

19
Unstack и возвращаемое значение считается для каждой переменной?

У меня есть фрейм данных, в котором записаны ответы людей, выбравших языки программирования 19717 года на вопросы с несколькими вариантами ответов. В первом столбце, конечно, указывается пол респондента, а в остальных - выбор, который они выбрали. И, следовательно, если я выберу Python, мой ответ...

18
Используйте данные во фреймах данных pandas для сопоставления столбцов

У меня есть два pandasкадра данных, aи b: a1 a2 a3 a4 a5 a6 a7 1 3 4 5 3 4 5 0 2 0 3 0 2 1 2 5 6 5 2 1 2 а также b1 b2 b3 b4 b5 b6 b7 3 5 4 5 1 4 3 0 1 2 3 0 0 2 2 2 1 5 2 6 5 Два фрейма данных содержат абсолютно одинаковые данные, но в другом порядке и с разными именами столбцов. Основываясь на...