Доступ к данным в подкаталоге пакета

Я пишу пакет python с модулями, которым необходимо открывать файлы данных в ./data/подкаталоге. Прямо сейчас у меня есть пути к файлам, жестко закодированные в мои классы и функции. Я хотел бы написать более надежный код, который может получить доступ к подкаталогу независимо от того, где он установлен в системе пользователя.

Я пробовал разные методы, но пока безуспешно. Кажется, что большинство команд «текущего каталога» возвращают каталог системного интерпретатора python, а не каталог модуля.

Похоже, это должна быть обычная тривиальная проблема. Но я не могу понять этого. Частично проблема в том, что мои файлы данных не являются .pyфайлами, поэтому я не могу использовать функции импорта и тому подобное.

Какие-либо предложения?

Сейчас мой каталог пакетов выглядит так:

/
__init__.py
module1.py
module2.py
data/   
   data.txt

Я пытаюсь получить доступ data.txtиз module*.py!

Вы можете использовать, __file__чтобы получить путь к пакету, например:

import os
this_dir, this_filename = os.path.split(__file__)
DATA_PATH = os.path.join(this_dir, "data", "data.txt")
print open(DATA_PATH).read()

Стандартный способ сделать это - использовать пакеты setuptools и pkg_resources.

Вы можете разместить свой пакет в соответствии со следующей иерархией и настроить файл установки пакета так, чтобы он указывал на ваши ресурсы данных, согласно этой ссылке:

http://docs.python.org/distutils/setupscript.html#installing-package-data

Затем вы можете повторно найти и использовать эти файлы с помощью pkg_resources по этой ссылке:

http://peak.telecommunity.com/DevCenter/PkgResources#basic-resource-access

import pkg_resources

DATA_PATH = pkg_resources.resource_filename('<package name>', 'data/')
DB_FILE = pkg_resources.resource_filename('<package name>', 'data/sqlite.db')

Чтобы предоставить решение, работающее сегодня. Определенно используйте этот API, чтобы не изобретать все эти колеса.

Требуется настоящее имя файла файловой системы. Сжатые яйца будут извлечены в каталог кеша:

from pkg_resources import resource_filename, Requirement

path_to_vik_logo = resource_filename(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

Вернуть читаемый объект в виде файла для указанного ресурса; это может быть реальный файл, StringIO или другой подобный объект. Поток находится в «двоичном режиме» в том смысле, что любые байты, находящиеся в ресурсе, будут читаться как есть.

from pkg_resources import resource_stream, Requirement

vik_logo_as_stream = resource_stream(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

Обнаружение пакетов и доступ к ресурсам с помощью pkg_resources

• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#resource-extraction
• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#basic-resource-access

Часто нет смысла давать ответ, в котором подробно описывается код, который не работает как есть, но я считаю, что это исключение. Добавлен Python 3.7, importlib.resourcesкоторый должен заменить pkg_resources. Это будет работать для доступа к файлам внутри пакетов, в именах которых нет косой черты , т.е.

foo/
    __init__.py
    module1.py
    module2.py
    data/   
       data.txt
    data2.txt

т.е. вы можете получить доступ к data2.txtпакету, fooнапример,

importlib.resources.open_binary('foo', 'data2.txt')

но он потерпит неудачу за исключением

>>> importlib.resources.open_binary('foo', 'data/data.txt')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.7/importlib/resources.py", line 87, in open_binary
    resource = _normalize_path(resource)
  File "/usr/lib/python3.7/importlib/resources.py", line 61, in _normalize_path
    raise ValueError('{!r} must be only a file name'.format(path))
ValueError: 'data/data2.txt' must be only a file name

Это не может быть решена только путем размещения __init__.pyв dataи затем использовать его в качестве пакета:

importlib.resources.open_binary('foo.data', 'data.txt')

Причина такого поведения - «это намеренно» ; но дизайн может измениться ...

Вам нужно имя для всего вашего модуля, вам дано дерево каталогов, не перечисляющее эту деталь, для меня это сработало:

import pkg_resources
print(    
    pkg_resources.resource_filename(__name__, 'data/data.txt')
)

Notibly setuptools, похоже, не разрешает файлы на основе совпадения имен с файлами упакованных данных, так что вы должны включать data/префикс в значительной степени, несмотря ни на что. Вы можете использовать, os.path.join('data', 'data.txt)если вам нужны альтернативные разделители каталогов. Обычно я не вижу проблем совместимости с жестко запрограммированными разделителями каталогов в стиле unix.

Думаю, я нашел ответ.

Я создаю модуль data_path.py, который импортирую в другие мои модули, содержащие:

data_path = os.path.join(os.path.dirname(__file__),'data')

Затем я открываю все свои файлы с помощью

open(os.path.join(data_path,'filename'), <param>)