Прочитайте большой фрейм данных в пандах
filename='../input/*.csv'
chunksize=10**6
reader = pd.read_csv(filename,chunksize=chunksize,
low_memory=False)
train=pd.DataFrame()
for i, chunk in enumerate(reader):
train=pd.concat([train,chunk],axis=0)
Spotless Seal