Панды: поиск списка листов в файле Excel

144

Новая версия Pandas использует следующий интерфейс для загрузки файлов Excel:

read_excel('path_to_file.xls', 'Sheet1', index_col=None, na_values=['NA'])

но что если я не знаю доступные листы?

Например, я работаю с файлами Excel, которые следующие листы

Данные 1, Данные 2 ..., Данные N, foo, bar

но я не знаю Nаприори.

Есть ли способ получить список листов из документа Excel в Pandas?

Амелио Васкес-Рейна
источник

Ответы:

253

Вы все еще можете использовать класс ExcelFilesheet_namesатрибут):

xl = pd.ExcelFile('foo.xls')

xl.sheet_names  # see all sheet names

xl.parse(sheet_name)  # read a specific sheet to DataFrame

см. документы для разбора для большего количества вариантов ...

Энди Хейден
источник
1
Спасибо, Энди. Могу я спросить, загружает ли Pandas лист Excel ExcelFile? Также, скажем, я просматриваю список листов и решаю загрузить N из них, должен ли я в этот момент вызывать read_excel(новый интерфейс) для каждого листа или придерживаться x1.parse?
Амелио Васкес-Рейна
2
Я думаю, что ExcelFile держит файл открытым (и не читает все это), я думаю, что использование синтаксического анализа (и открытие файла только один раз) имеет здесь больше смысла. Я пропустил прибытие read_excel!
Энди Хейден
6
Упомянутый ранее здесь , но я хотел бы сохранить словарь DataFrames, используя{sheet_name: xl.parse(sheet_name) for sheet_name in xl.sheet_names}
Энди Хейден
2
Если бы я мог дать вам больше голосов, это работает на нескольких версиях панд тоже! (не знаю, почему они так часто меняют API) Спасибо, что указали мне на функцию разбора, вот текущая ссылка: pandas.pydata.org/pandas-docs/stable/generated/…
Иезекииль Круглик,
3
@NicholasLu понижение было ненужным, этот ответ с 2013 года! Тем не менее, хотя ExcelFile является оригинальным способом анализа файлов Excel, он не считается устаревшим и остается совершенно правильным способом сделать это.
Энди Хейден,
37

Вы должны явно указать второй параметр (имя листа) как None. как это:

 df = pandas.read_excel("/yourPath/FileName.xlsx", None);

«df» - это все листы как словарь DataFrames, вы можете проверить это, запустив это:

df.keys()

результат как это:

[u'201610', u'201601', u'201701', u'201702', u'201703', u'201704', u'201705', u'201706', u'201612', u'fund', u'201603', u'201602', u'201605', u'201607', u'201606', u'201608', u'201512', u'201611', u'201604']

пожалуйста, обратитесь к документу pandas для получения более подробной информации: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html

Николас Лу
источник
3
Это излишне анализирует каждый лист как DataFrame, что не требуется. «Как читать файл xls / xlsx» - это другой вопрос .
Энди Хейден,
7
@ AndyHayden это может быть неэффективно, но может быть лучше, если вы заботитесь обо всех листах, или вам не нужны дополнительные накладные расходы.
CodeMonkey
8

Это самый быстрый способ, который я нашел, вдохновленный ответом @ divingTobi. Все ответы, основанные на xlrd, openpyxl или pandas, медленны для меня, так как все они сначала загружают весь файл.

from zipfile import ZipFile
from bs4 import BeautifulSoup  # you also need to install "lxml" for the XML parser

with ZipFile(file) as zipped_file:
    summary = zipped_file.open(r'xl/workbook.xml').read()
soup = BeautifulSoup(summary, "xml")
sheets = [sheet.get("name") for sheet in soup.find_all("sheet")]

МОРЕ
источник
3

Основываясь на ответе @dhwanil_shah, вам не нужно извлекать весь файл. С помощью zf.openможно читать из заархивированного файла напрямую.

import xml.etree.ElementTree as ET
import zipfile

def xlsxSheets(f):
    zf = zipfile.ZipFile(f)

    f = zf.open(r'xl/workbook.xml')

    l = f.readline()
    l = f.readline()
    root = ET.fromstring(l)
    sheets=[]
    for c in root.findall('{http://schemas.openxmlformats.org/spreadsheetml/2006/main}sheets/*'):
        sheets.append(c.attrib['name'])
    return sheets

Два последовательных readlineсимвола безобразны, но содержимое находится только во второй строке текста. Не нужно разбирать весь файл.

Это решение кажется намного быстрее, чем read_excelверсия, и, скорее всего, также быстрее, чем полная версия экстракта.

divingTobi
источник
Нет, .xls - это совершенно другой формат файла, поэтому я не ожидаю, что этот код будет работать.
дайвингТоби
2

Я пробовал xlrd, pandas, openpyxl и другие подобные библиотеки, и все они, кажется, занимают экспоненциальное время по мере увеличения размера файла, когда он читает весь файл. Другие решения, упомянутые выше, где они использовали on_demand, не работали для меня. Если вы просто хотите получить имена листов изначально, следующая функция работает для файлов xlsx.

def get_sheet_details(file_path):
    sheets = []
    file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
    # Make a temporary directory with the file name
    directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
    os.mkdir(directory_to_extract_to)

    # Extract the xlsx file as it is just a zip file
    zip_ref = zipfile.ZipFile(file_path, 'r')
    zip_ref.extractall(directory_to_extract_to)
    zip_ref.close()

    # Open the workbook.xml which is very light and only has meta data, get sheets from it
    path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
    with open(path_to_workbook, 'r') as f:
        xml = f.read()
        dictionary = xmltodict.parse(xml)
        for sheet in dictionary['workbook']['sheets']['sheet']:
            sheet_details = {
                'id': sheet['@sheetId'],
                'name': sheet['@name']
            }
            sheets.append(sheet_details)

    # Delete the extracted files directory
    shutil.rmtree(directory_to_extract_to)
    return sheets

Поскольку все xlsx являются в основном заархивированными файлами, мы извлекаем базовые данные xml и читаем имена листов непосредственно из книги, что занимает доли секунды по сравнению с функциями библиотеки.

Бенчмаркинг: (для файла 6 МБ xlsx с 4 листами)
Панды, xlrd: 12 секунд
openpyxl: 24 секунды
Предлагаемый метод: 0,4 секунды

Поскольку моим требованием было просто чтение имен листов, ненужные накладные расходы на чтение все время доставляли мне неприятности, поэтому я выбрал этот путь.

Дхванил шах
источник
Какие модули вы используете?
Даниил
@Daniel Я использовал только тот, zipfileкоторый является встроенным модулем и xmltodictкоторый я использовал для преобразования XML в легко повторяемый словарь. Хотя вы можете посмотреть ответ @ divingTobi ниже, где вы можете прочитать один и тот же файл без фактического извлечения файлов внутри.
Дванил шах
Когда я пробовал openpyxl с флагом read_only, он значительно быстрее (в 200 раз быстрее для моего файла размером 5 МБ). load_workbook(excel_file).sheetnamesв среднем 8,24 с, где в load_workbook(excel_file, read_only=True).sheetnamesсреднем 39,6 мс.
flutefreak7
0
from openpyxl import load_workbook

sheets = load_workbook(excel_file, read_only=True).sheetnames

Для файла Excel размером 5 МБ, с которым я работаю, load_workbookбез read_onlyфлага потребовалось 8,24 с. С read_onlyфлагом прошло всего 39,6 мс. Если вы все еще хотите использовать библиотеку Excel и не переходить на решение XML, это намного быстрее, чем методы, которые анализируют весь файл.

flutefreak7
источник