Я хочу знать, возможно ли использовать to_csv()функцию pandas для добавления фрейма данных в существующий CSV-файл. Файл CSV имеет ту же структуру, что и загруженные данные.
Я думаю, что метод, предложенный @tlingf, лучше только потому, что он использует встроенную функциональность библиотеки панд. Он предлагает определить режим как «а». «A» означает APPEND 'df.to_csv (' my_csv.csv ', mode =' a ', header = False)'
Ayrat
1
В ответе @KCzar рассматриваются как случаи, когда CSV-файл отсутствует (т. Е. Добавить заголовок столбца), так и когда CSV-файл уже существует (поэтому добавьте только строки данных без заголовков). В любом случае он использует режим «добавления» и собственный разделитель, а также проверяет количество столбцов.
ТППЗ
Ответы:
544
Вы можете указать режим записи Python в to_csvфункции Pandas . Для добавления это «а».
Спасибо за ответ. Это позволит мне добавлять новые df по строкам. Но не могли бы вы дать мне знать, как я могу добавить новый df по столбцам?
дата
Я смог сделать это, перечитав my_csv.csv, затем записав новый df и сохранив его. Если вы знаете какой-то более простой метод, пожалуйста, дайте мне знать. Я ценю!
дата выпуска
2
Как написать заголовок для первого файла, а остальные строки автоматически добавляются к нему?
Etisha
5
@Etisha что-то вродеdf.to_csv(output_path, mode='a', header=not os.path.exists(output_path))
Мишель Тонутти
255
Вы можете добавить к CSV, открыв файл в режиме добавления:
with open('my_csv.csv','a')as f:
df.to_csv(f, header=False)
Если это ваш CSV - файл, foo.csv:
,A,B,C
0,1,2,31,4,5,6
Если вы прочитаете это, а затем добавите, например df + 6:
In[1]: df = pd.read_csv('foo.csv', index_col=0)In[2]: df
Out[2]:
A B C
01231456In[3]: df +6Out[3]:
A B C
07891101112In[4]:with open('foo.csv','a')as f:(df +6).to_csv(f, header=False)
Это отсутствует mode='a'как параметр для to_csv(то естьdf.to_csv(f, mode='a', header=f.tell()==0)
Габриэла Мело
2
@GabrielaMelo Это было передано в функцию open (имя файла, 'a').
Пиюш
21
Маленькая вспомогательная функция, которую я использую с некоторыми мерами безопасности для проверки заголовка:
def appendDFToCSV_void(df, csvFilePath, sep=","):import os
ifnot os.path.isfile(csvFilePath):
df.to_csv(csvFilePath, mode='a', index=False, sep=sep)elif len(df.columns)!= len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns):raiseException("Columns do not match!! Dataframe has "+ str(len(df.columns))+" columns. CSV file has "+ str(len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns))+" columns.")elifnot(df.columns == pd.read_csv(csvFilePath, nrows=1, sep=sep).columns).all():raiseException("Columns and column order of dataframe and csv file do not match!!")else:
df.to_csv(csvFilePath, mode='a', index=False, sep=sep, header=False)
Первоначально, начиная с фреймов данных pyspark - я получил ошибки при преобразовании типов (при конвертации в dand-файлы pandas и затем добавлении в csv), учитывая типы схем / столбцов в моих фреймах данных pyspark
Решил проблему, заставив все столбцы в каждом df иметь тип string, а затем добавив это в csv следующим образом:
with open('testAppend.csv','a')as f:
df2.toPandas().astype(str).to_csv(f, header=False)
Немного опоздал на вечеринку, но вы также можете использовать менеджер контекста, если вы открываете и закрываете файл несколько раз, или регистрируете данные, статистику и т. Д.
from contextlib import contextmanager
import pandas as pd
@contextmanagerdef open_file(path, mode):
file_to=open(path,mode)yield file_to
file_to.close()##later
saved_df=pd.DataFrame(data)with open_file('yourcsv.csv','r')as infile:
saved_df.to_csv('yourcsv.csv',mode='a',header=False)`
Ответы:
Вы можете указать режим записи Python в
to_csv
функции Pandas . Для добавления это «а».В твоем случае:
Режим по умолчанию - «w».
источник
df.to_csv(output_path, mode='a', header=not os.path.exists(output_path))
Вы можете добавить к CSV, открыв файл в режиме добавления:
Если это ваш CSV - файл,
foo.csv
:Если вы прочитаете это, а затем добавите, например
df + 6
:foo.csv
будет выглядеть так:источник
источник
mode='a'
как параметр дляto_csv
(то естьdf.to_csv(f, mode='a', header=f.tell()==0)
Маленькая вспомогательная функция, которую я использую с некоторыми мерами безопасности для проверки заголовка:
источник
Первоначально, начиная с фреймов данных pyspark - я получил ошибки при преобразовании типов (при конвертации в dand-файлы pandas и затем добавлении в csv), учитывая типы схем / столбцов в моих фреймах данных pyspark
Решил проблему, заставив все столбцы в каждом df иметь тип string, а затем добавив это в csv следующим образом:
источник
Немного опоздал на вечеринку, но вы также можете использовать менеджер контекста, если вы открываете и закрываете файл несколько раз, или регистрируете данные, статистику и т. Д.
источник