Создание Pandas DataFrame из массива Numpy: как указать столбец индекса и заголовки столбцов?

281

У меня есть массив Numpy, состоящий из списка списков, представляющих двумерный массив с метками строк и именами столбцов, как показано ниже:

data = array([['','Col1','Col2'],['Row1',1,2],['Row2',3,4]])

Я хотел бы, чтобы результирующий DataFrame имел Row1 и Row2 в качестве значений индекса, а Col1, Col2 в качестве значений заголовка

Я могу указать индекс следующим образом:

df = pd.DataFrame(data,index=data[:,0]),

Однако я не уверен, как лучше назначить заголовки столбцов.

user3132783
источник
3
Ответ @ behzad.nouri правильный, но я думаю, вам следует подумать, не можете ли вы получить исходные данные в другой форме. Потому что теперь ваши значения будут строками, а не целыми числами (из-за того, что числовые массивы смешивают целые и строки, поэтому все преобразуются в строковые, потому что числовые массивы должны быть однородными).
Йорис

Ответы:

316

Необходимо указать data, indexи columnsв DataFrameконструкторе, как:

>>> pd.DataFrame(data=data[1:,1:],    # values
...              index=data[1:,0],    # 1st column as index
...              columns=data[0,1:])  # 1st row as the column names

изменить : как в комментарии @joris, вам может потребоваться изменить выше, np.int_(data[1:,1:])чтобы иметь правильный тип данных.

behzad.nouri
источник
7
это работает - но для такой общей структуры входных данных и желаемого приложения к a DataFrameнет некоторого "ярлыка"? Это в основном способ csvзагрузки s - и может управляться обработкой по умолчанию для многих читателей csv. Была бы полезна аналогичная структура для df's.
Джавадба
Я добавил мини-вспомогательный / удобный метод для этого в качестве дополнительного ответа.
Джавадба
94

Вот простое для понимания решение

import numpy as np
import pandas as pd

# Creating a 2 dimensional numpy array
>>> data = np.array([[5.8, 2.8], [6.0, 2.2]])
>>> print(data)
>>> data
array([[5.8, 2.8],
       [6. , 2.2]])

# Creating pandas dataframe from numpy array
>>> dataset = pd.DataFrame({'Column1': data[:, 0], 'Column2': data[:, 1]})
>>> print(dataset)
   Column1  Column2
0      5.8      2.8
1      6.0      2.2
Джаганнатха Банерджи
источник
20
Но вы должны были вручную указать Seriesимена .. это не масштабируется.
Джавадба
24

Я согласен с Йорисом; кажется, что вы должны делать это по-другому, как с массивами записей . Изменив «вариант 2» из этого замечательного ответа , вы можете сделать это так:

import pandas
import numpy

dtype = [('Col1','int32'), ('Col2','float32'), ('Col3','float32')]
values = numpy.zeros(20, dtype=dtype)
index = ['Row'+str(i) for i in range(1, len(values)+1)]

df = pandas.DataFrame(values, index=index)
ryanjdillon
источник
13

Это можно сделать просто с помощью from_records панд DataFrame

import numpy as np
import pandas as pd
# Creating a numpy array
x = np.arange(1,10,1).reshape(-1,1)
dataframe = pd.DataFrame.from_records(x)
Адиль Шривастава
источник
Этот ответ не работает с примером данных , представленных в этом вопросе, то есть data = array([['','Col1','Col2'],['Row1',1,2],['Row2',3,4]]).
JPP
Самое простое общее решение, когда мы не указали метки.
cerebrou
12
    >>import pandas as pd
    >>import numpy as np
    >>data.shape
    (480,193)
    >>type(data)
    numpy.ndarray
    >>df=pd.DataFrame(data=data[0:,0:],
    ...        index=[i for i in range(data.shape[0])],
    ...        columns=['f'+str(i) for i in range(data.shape[1])])
    >>df.head()
    [![array to dataframe][1]][1]

введите описание изображения здесь

Рахул Верма
источник
8

Добавляем ответ @ behzad.nouri - мы можем создать вспомогательную подпрограмму для обработки этого распространенного сценария:

def csvDf(dat,**kwargs): 
  from numpy import array
  data = array(dat)
  if data is None or len(data)==0 or len(data[0])==0:
    return None
  else:
    return pd.DataFrame(data[1:,1:],index=data[1:,0],columns=data[0,1:],**kwargs)

Давайте попробуем это:

data = [['','a','b','c'],['row1','row1cola','row1colb','row1colc'],
     ['row2','row2cola','row2colb','row2colc'],['row3','row3cola','row3colb','row3colc']]
csvDf(data)

In [61]: csvDf(data)
Out[61]:
             a         b         c
row1  row1cola  row1colb  row1colc
row2  row2cola  row2colb  row2colc
row3  row3cola  row3colb  row3colc
javadba
источник
0

Я думаю, что это простой и интуитивно понятный метод:

data = np.array([[0, 0], [0, 1] , [1, 0] , [1, 1]])
reward = np.array([1,0,1,0])

dataset = pd.DataFrame()
dataset['StateAttributes'] = data.tolist()
dataset['reward'] = reward.tolist()

dataset

возвращает:

введите описание изображения здесь

Но здесь есть подробности о производительности:

Как установить значение столбца панд в виде списка

голубое небо
источник
0

Это не так коротко, но, возможно, может помочь вам.

Создание массива

import numpy as np
import pandas as pd

data = np.array([['col1', 'col2'], [4.8, 2.8], [7.0, 1.2]])

>>> data
array([['col1', 'col2'],
       ['4.8', '2.8'],
       ['7.0', '1.2']], dtype='<U4')

Создание фрейма данных

df = pd.DataFrame(i for i in data).transpose()
df.drop(0, axis=1, inplace=True)
df.columns = data[0]
df

>>> df
  col1 col2
0  4.8  7.0
1  2.8  1.2
Rafa
источник