Вопросы с тегом «dataframe»

230
Панды получают строки, которых нет в другом фрейме данных

У меня есть два фрейма данных панд, у которых есть несколько общих строк. Предположим, dataframe2 является подмножеством dataframe1. Как я могу получить строки dataframe1, которых нет в dataframe2? df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 'col2' : [10, 11, 12, 13, 14]}) df2 =...

227
Нормализовать столбцы панд данных

У меня есть датафрейм в пандах, где каждый столбец имеет различный диапазон значений. Например: ДФ: A B C 1000 10 0.5 765 5 0.35 800 7 0.09 Любая идея, как я могу нормализовать столбцы этого кадра данных, где каждое значение находится между 0 и 1? Мой желаемый результат: A B C 1 1 1 0.765 0.5 0.7...

214
Обновите фрейм данных в пандах, повторяя построчно

У меня есть фрейм данных панд, который выглядит следующим образом (это довольно большой) date exer exp ifor mat 1092 2014-03-17 American M 528.205 2014-04-19 1093 2014-03-17 American M 528.205 2014-04-19 1094 2014-03-17 American M 528.205 2014-04-19 1095 2014-03-17 American M 528.205 2014-04-19...

208
В чем разница между объединением и слиянием в пандах?

Предположим, у меня есть два DataFrames, например, так: left = pd.DataFrame({'key1': ['foo', 'bar'], 'lval': [1, 2]}) right = pd.DataFrame({'key2': ['foo', 'bar'], 'rval': [4, 5]}) Я хочу объединить их, поэтому я пытаюсь что-то вроде этого: pd.merge(left, right, left_on='key1', right_on='key2') И я...

205
Как отобразить содержимое полного столбца в кадре данных Spark?

Я использую spark-CSV для загрузки данных в DataFrame. Я хочу сделать простой запрос и отобразить содержимое: val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") df.registerTempTable("tasks") results = sqlContext.sql("select col from tasks");...

200
Разбить (взорвать) строку ввода в панде в кадре данных на отдельные строки

У меня есть, pandas dataframeв котором один столбец текстовых строк содержит значения, разделенные запятыми. Я хочу разделить каждое поле CSV и создать новую строку для каждой записи (предположим, что CSV чисты и должны быть разделены только на ','). Например, aдолжно стать b: In [7]: a Out[7]:...

198
Обнаружение и исключение выбросов в кадре данных Pandas

У меня есть фрейм данных панд с несколькими столбцами. Теперь я знаю, что определенные строки являются выбросами на основе определенного значения столбца. Например столбец 'Vol' имеет все значения вокруг, 12xxи одно значение 4000(выброс). Теперь я хотел бы исключить те строки, которые имеют...

197
Добавьте метки x и y к графику панд

Предположим, у меня есть следующий код, который строит что-то очень простое с помощью панд: import pandas as pd values = [[1, 2], [2, 5]] df2 = pd.DataFrame(values, columns=['Type A', 'Type B'], index=['Index 1', 'Index 2']) df2.plot(lw=2, colormap='jet', marker='.', markersize=10, title='Video...

197
Как разбить столбец на два столбца?

У меня есть фрейм данных с одним столбцом, и я хотел бы разбить его на два столбца, с одним заголовком столбца как ', fips'а другой'row' Мой фрейм данных dfвыглядит так: row 0 00000 UNITED STATES 1 01000 ALABAMA 2 01001 Autauga County, AL 3 01003 Baldwin County, AL 4 01005 Barbour County, AL Я не...

190
Python pandas Фильтрация Nan из выборки данных столбца строк

Без использования, groupbyкак бы я отфильтровать данные без NaN? Допустим, у меня есть матрица, в которой клиенты будут заполнять 'N / A', 'N / A' или любой из его вариантов, а другие оставляют это поле пустым: import pandas as pd import numpy as np df = pd.DataFrame({'movie': ['thg', 'thg', 'mol',...

187
Добавить столбец в dataframe с постоянным значением

У меня есть существующий фрейм данных, который мне нужно добавить дополнительный столбец, который будет содержать одинаковое значение для каждой строки. Существующий df: Date, Open, High, Low, Close 01-01-2015, 565, 600, 400, 450 Новый дф: Name, Date, Open, High, Low, Close abc, 01-01-2015, 565,...

186
Как мне составить список фреймов данных?

Как составить список фреймов данных и как получить доступ к каждому из этих фреймов данных из списка? Например, как я могу поместить эти фреймы данных в список? d1 <- data.frame(y1 = c(1, 2, 3), y2 = c(4, 5, 6)) d2 <- data.frame(y1 = c(3, 2, 1), y2 = c(6, 5,...

174
Как объединить несколько условий для подмножества фрейма данных, используя «ИЛИ»?

У меня есть data.frame в R. Я хочу попробовать два разных условия для двух разных столбцов, но я хочу, чтобы эти условия были инклюзивными. Поэтому я хотел бы использовать «ИЛИ» для объединения условий. Я использовал следующий синтаксис прежде с большим успехом, когда я хотел использовать условие...

173
Для каждой строки в R-кадре данных

У меня есть фрейм данных, и для каждой строки в этом фрейме мне нужно выполнить несколько сложных поисков и добавить некоторые данные в файл. DataFrame содержит научные результаты для выбранных лунок из 96-луночных планшетов, используемых в биологических исследованиях, поэтому я хочу сделать что-то...