Вопросы с тегом «dataframe»

107
Преобразование столбца Spark DataFrame в список Python

Я работаю над фреймом данных с двумя столбцами, mvv и count. +---+-----+ |mvv|count| +---+-----+ | 1 | 5 | | 2 | 9 | | 3 | 3 | | 4 | 1 | Я хотел бы получить два списка, содержащие значения mvv и значение счета. Что-то типа mvv = [1,2,3,4] count = [5,9,3,1] Итак, я попробовал следующий код: Первая...

107
Python pandas вставить список в ячейку

У меня есть список abc и фрейм данных df: abc = ['foo', 'bar'] df = A B 0 12 NaN 1 23 NaN Я хочу вставить список в ячейку 1B, поэтому мне нужен такой результат: A B 0 12 NaN 1 23 ['foo', 'bar'] Как я могу это сделать? 1) Если я использую это: df.ix[1,'B'] = abc Я получаю следующее сообщение об...

106
Объедините два или более столбца в фрейме данных в новый столбец с новым именем

Например, если у меня есть это: n = c(2, 3, 5) s = c("aa", "bb", "cc") b = c(TRUE, FALSE, TRUE) df = data.frame(n, s, b) n s b 1 2 aa TRUE 2 3 bb FALSE 3 5 cc TRUE Тогда как я совмещаю две колонки nи sв новый столбец с именем xтаким образом, что она выглядит следующим образом : n s b x 1 2 aa TRUE...

105
Отфильтровать столбец фрейма данных Pyspark со значением None

Я пытаюсь отфильтровать фрейм данных PySpark, который имеет Noneзначение строки: df.select('dt_mvmt').distinct().collect() [Row(dt_mvmt=u'2016-03-27'), Row(dt_mvmt=u'2016-03-28'), Row(dt_mvmt=u'2016-03-29'), Row(dt_mvmt=None), Row(dt_mvmt=u'2016-03-30'), Row(dt_mvmt=u'2016-03-31')] и я могу...

105
Как рассчитать количество вхождений данного символа в каждую строку столбца строк?

У меня есть data.frame, в котором определенные переменные содержат текстовую строку. Я хочу подсчитать количество вхождений данного символа в каждую отдельную строку. Пример: q.data<-data.frame(number=1:3, string=c("greatgreat", "magic", "not")) Я хочу создать новый столбец для q.data с числом...

104
Как получить значение из Pandas DataFrame, а не индекс и тип объекта

Скажем, у меня есть следующий DataFrame Буквенный номер А 1 БИ 2 C 3 D 4 Что можно получить с помощью следующего кода import pandas as pd letters=pd.Series(('A', 'B', 'C', 'D')) numbers=pd.Series((1, 2, 3, 4)) keys=('Letters', 'Numbers') df=pd.concat((letters, numbers), axis=1, keys=keys) Теперь я...

103
Как получить строку из R data.frame

У меня есть data.frame с заголовками столбцов. Как я могу получить определенную строку из data.frame в виде списка (с заголовками столбцов в качестве ключей для списка)? В частности, мой data.frame ABC 1 5 4,25 4,5 2 3,5 4 2,5 3 3,25 4 4 4 4,25 4,5 2,25 5 1,5 4,5 3 И я хочу получить строку,...

103
Очистка значений Inf из фрейма данных R

В R у меня есть операция, которая создает некоторые Infзначения при преобразовании фрейма данных. Я хотел бы превратить эти Infценности в NAценности. Код, который у меня есть, работает медленно для больших данных, есть ли более быстрый способ сделать это? Скажем, у меня есть следующий фрейм...

103
Отображение всех столбцов фрейма данных в Jupyter Python Notebook

Я хочу показать все столбцы в фрейме данных в Jupyter Notebook. Jupyter показывает некоторые столбцы и добавляет точки к последним столбцам, как на следующем рисунке: Как я могу отобразить все столбцы?...

103
Объект DataFrame не имеет атрибута sort

У меня здесь проблема, в моем пакете python я установил numpy, но у меня все еще есть эта ошибка Объект DataFrame не имеет атрибута sort Кто угодно может дать мне представление .. Это мой код: final.loc[-1] =['', 'P','Actual'] final.index = final.index + 1 # shifting index final = final.sort()...

103
Как заменить текст в столбце фрейма данных Pandas?

У меня есть столбец в моем фрейме данных: range "(2,30)" "(50,290)" "(400,1000)" ... и я хочу заменить ,запятую -тире. Сейчас я использую этот метод, но ничего не изменилось. org_info_exc['range'].replace(',', '-', inplace=True) Кто-нибудь может помочь?...

102
Столбец биннинга с пандами python

У меня есть столбец Data Frame с числовыми значениями: df['percentage'].head() 46.5 44.2 100.0 42.12 Я хочу видеть столбец как количество мусорных корзин: bins = [0, 1, 5, 10, 25, 50, 100] Как я могу получить результат в виде закромок со своими value counts? [0, 1] bin amount [1, 5] etc [5, 10]...

102
как изменить столбец Dataframe с типа String на тип Double в pyspark

У меня есть dataframe со столбцом как String. Я хотел изменить тип столбца на тип Double в PySpark. Я сделал следующее: toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType()) changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show'])) Просто хотел знать, правильный ли это способ...

101
Как сдвинуть столбец в Pandas DataFrame

Я хотел бы переместить столбец в пандах DataFrame, но мне не удалось найти способ сделать это из документации, не переписав весь DF. Кто-нибудь знает как это делать? DataFrame: ## x1 x2 ##0 206 214 ##1 226 234 ##2 245 253 ##3 265 272 ##4 283 291 Желаемый результат: ## x1 x2 ##0 206 nan ##1 226 214...

101
Способ чтения первых нескольких строк для фрейма данных pandas

Есть ли встроенный способ использовать read_csvдля чтения только первых nстрок файла, не зная заранее длины строк? У меня есть большой файл, чтение которого занимает много времени, и иногда я хочу использовать только первые, скажем, 20 строк, чтобы получить его образец (и предпочитаю не загружать...