Как импортировать модуль по имени в виде строки?

543

Я пишу приложение на Python, которое принимает в качестве аргумента команду, например:

$ python myapp.py command1

Я хочу, чтобы приложение было расширяемым, то есть позволяло добавлять новые модули, реализующие новые команды, без необходимости изменения основного источника приложения. Дерево выглядит примерно так:

myapp/
    __init__.py
    commands/
        __init__.py
        command1.py
        command2.py
    foo.py
    bar.py

Поэтому я хочу, чтобы приложение находило доступные командные модули во время выполнения и выполняло соответствующий.

Python определяет функцию __import__ , которая принимает строку для имени модуля:

__import __ (name, globals = None, localals = None, fromlist = (), level = 0)

Функция импортирует имя модуля, потенциально используя заданные глобальные и локальные значения, чтобы определить, как интерпретировать имя в контексте пакета. Список from дает имена объектов или подмодулей, которые должны быть импортированы из модуля, заданного именем.

Источник: https://docs.python.org/3/library/functions.html# import

Так что в настоящее время у меня есть что-то вроде:

command = sys.argv[1]
try:
    command_module = __import__("myapp.commands.%s" % command, fromlist=["myapp.commands"])
except ImportError:
    # Display error message

command_module.run()

Это прекрасно работает, мне просто интересно, есть ли более идиоматический способ выполнить то, что мы делаем с этим кодом.

Обратите внимание, что я специально не хочу использовать яйца или точки расширения. Это не проект с открытым исходным кодом, и я не ожидаю, что будут "плагины". Смысл в том, чтобы упростить основной код приложения и избавить от необходимости изменять его каждый раз, когда добавляется новый командный модуль.

Камил Кисиэль
источник
Что делает fromlist = ["myapp.commands"]?
Питер Мюллер
@ PieterMüller: в питона оболочки типа это: dir(__import__). Список должен быть списком имен для эмуляции "из импорта имен ...".
Мавимави
По состоянию на 2019 год вы должны искать importlib: stackoverflow.com/a/54956419/687896
Брандт
Не используйте __import__. В Python Doc используйте importlib.import_module
fcm

Ответы:

321

С Python старше 2.7 / 3.1 это в значительной степени то, как вы это делаете.

Для более новых версий см. importlib.import_moduleДля Python 2 и и Python 3 .

Вы также можете использовать, execесли хотите.

Или используя __import__вы можете импортировать список модулей, выполнив это:

>>> moduleNames = ['sys', 'os', 're', 'unittest'] 
>>> moduleNames
['sys', 'os', 're', 'unittest']
>>> modules = map(__import__, moduleNames)

Разорвал прямо из Dive Into Python .

Харли Холкомб
источник
7
в чем отличие exec?
user1767754
1
Как вы могли бы использовать __init__этот модуль?
Дориан Доре
7
Одна проблема с этим решением для OP состоит в том, что перехват исключений для одного или двух некорректных «командных» модулей приводит к сбою всего его / ее командного приложения в одном исключении. Лично я бы зациклился над каждым импортом, индивидуально обернутым в try: mods = __ import __ () \ nexcept ImportError как error: report (error), чтобы позволить другим командам продолжать работать, пока исправляются плохие.
DevPlayer
7
Другая проблема с этим решением, как указывает Денис Малиновский ниже, заключается в том, что сами документы по python рекомендуют не использовать __import__. Документы 2.7: «Поскольку эта функция предназначена для использования интерпретатором Python, а не для общего использования, лучше использовать importlib.import_module () ...» При использовании python3 impмодуль решает эту проблему, как упоминается ниже в monkut.
ЛиавК
2
@JohnWu зачем тебе, foreachкогда есть for element inи map()хоть :)
ковбой
300

Рекомендуемый способ для Python 2.7 и 3.1 и выше - использовать importlibмодуль:

importlib.import_module (имя, пакет = нет)

Импортировать модуль. Аргумент name указывает, какой модуль импортировать в абсолютном или относительном выражении (например, pkg.mod или ..mod). Если имя указано в относительных терминах, то аргумент пакета должен быть установлен на имя пакета, которое должно выступать в качестве якоря для разрешения имени пакета (например, import_module ('.. mod', 'pkg.subpkg') будет импортировать pkg.mod).

например

my_module = importlib.import_module('os.path')
Денис Малиновский
источник
2
Рекомендовано каким источником или органом?
michuelnik
66
Документация советует против использования __import__функции в пользу упомянутого выше модуля.
Денис Малиновский
8
Это хорошо работает для импорта os.path; как насчет from os.path import *?
Нам G VU
5
Я получаю ответ здесь stackoverflow.com/a/44492879/248616 т.е. вызоваglobals().update(my_module.__dict)
Nam G VU
2
@NamGVU, это опасный метод, поскольку он загрязняет ваши глобальные переменные и может переопределять любые идентификаторы с одинаковыми именами. Ссылка, которую вы разместили, содержит улучшенную и улучшенную версию этого кода.
Денис Малиновский
132

Примечание: начиная с Python 3.4 imp устарела в пользу importlib

Как уже упоминалось, модуль Imp предоставляет вам функции загрузки:

imp.load_source(name, path)
imp.load_compiled(name, path)

Я использовал их раньше, чтобы выполнить нечто подобное.

В моем случае я определил определенный класс с определенными необходимыми методами. Как только я загрузил модуль, я бы проверил, есть ли класс в модуле, а затем создал бы экземпляр этого класса, что-то вроде этого:

import imp
import os

def load_from_file(filepath):
    class_inst = None
    expected_class = 'MyClass'

    mod_name,file_ext = os.path.splitext(os.path.split(filepath)[-1])

    if file_ext.lower() == '.py':
        py_mod = imp.load_source(mod_name, filepath)

    elif file_ext.lower() == '.pyc':
        py_mod = imp.load_compiled(mod_name, filepath)

    if hasattr(py_mod, expected_class):
        class_inst = getattr(py_mod, expected_class)()

    return class_inst
monkut
источник
2
Хорошее и простое решение. Я написал аналогичный: stamat.wordpress.com/dynamic-module-import-in-python Но у вас есть некоторые недостатки: как насчет исключений? IOError и ImportError? Почему бы не проверить сначала скомпилированную версию, а затем исходную версию. Ожидание класса уменьшает возможность повторного использования в вашем случае.
Стамат
3
В строке, где вы создаете MyClass в целевом модуле, вы добавляете избыточную ссылку на имя класса. Это уже хранится в, expected_classтак что вы могли бы сделать class_inst = getattr(py_mod,expected_name)()вместо этого.
Андрей
1
Обратите внимание, что если существует соответствующий файл, скомпилированный байтами (с суффиксом .pyc или .pyo), он будет использоваться вместо анализа данного исходного файла . https://docs.python.org/2/library/imp.html#imp.load_source
cdosborn
1
Heads: это решение работает; тем не менее, модуль imp будет объявлен устаревшим в пользу импорта lib, см. страницу imp: "" "устарело с версии 3.4: пакет imp ожидает устаревания в пользу importlib." ""
Рикардо
15

В настоящее время вы должны использовать importlib .

Импортировать исходный файл

В документах на самом деле обеспечивают рецепт для этого, и он идет , как:

import sys
import importlib.util

file_path = 'pluginX.py'
module_name = 'pluginX'

spec = importlib.util.spec_from_file_location(module_name, file_path)
module = importlib.util.module_from_spec(spec)
spec.loader.exec_module(module)

# check if it's all there..
def bla(mod):
    print(dir(mod))
bla(module)

Таким образом, вы можете получить доступ к членам (например, функции " hello") из вашего модуля pluginX.py- в этом вызываемом фрагменте module- из его пространства имен; Например, module.hello().

Если вы хотите импортировать элементы (например, " hello"), вы можете включить module/ pluginXв список модулей в памяти:

sys.modules[module_name] = module

from pluginX import hello
hello()

Импортировать пакет

Импортировать пакет ( например , pluginX/__init__.py) под текущим каталогом на самом деле просто:

import importlib

pkg = importlib.import_module('pluginX')

# check if it's all there..
def bla(mod):
    print(dir(mod))
bla(pkg)
Brandt
источник
3
добавьте sys.modules[module_name] = moduleв конец своего кода, если вы хотите иметь возможность import module_nameвпоследствии
Даниэль Браун
@DanielBraun делает так, чтобы я получил ошибку> ModuleNotFoundError
Nam G VU
10

Если вы хотите это в ваших местных жителей:

>>> mod = 'sys'
>>> locals()['my_module'] = __import__(mod)
>>> my_module.version
'2.6.6 (r266:84297, Aug 24 2010, 18:46:32) [MSC v.1500 32 bit (Intel)]'

то же самое будет работать с globals()

Джонатан
источник
2
Документация для встроенной locals()функции явно предупреждает , что «содержание этого словаря не должно быть изменено».
Мартино
9

Вы можете использовать exec:

exec("import myapp.commands.%s" % command)
Грег Хьюгилл
источник
Как получить дескриптор модуля через exec, чтобы я мог вызвать (в этом примере) метод .run ()?
Камил Кисиэль
5
Затем вы можете выполнить getattr (myapp.commands, command) для доступа к модулю.
Грег Хьюгилл
1
... или добавить as command_moduleв конец оператора import, а затем сделатьcommand_module.run()
oxfn
В некоторых версиях Python 3+ exec был преобразован в функцию с дополнительным преимуществом, заключающимся в том, что результирующие ссылки, созданные в исходном коде, сохраняются в аргументе locals () exec (). Чтобы дополнительно изолировать exec, на который ссылаются локальные блоки кода, вы можете предоставить свой собственный dict, например пустой, и ссылаться на ссылки, используя этот dict, или передать этот dict другим функциям exec (source, gobals (), command1_dict). .... print (command1_dict ['somevarible'])
DevPlayer
2

Аналогично решению @monkut, но его можно использовать повторно и допускать ошибки, описанные здесь http://stamat.wordpress.com/dynamic-module-import-in-python/ :

import os
import imp

def importFromURI(uri, absl):
    mod = None
    if not absl:
        uri = os.path.normpath(os.path.join(os.path.dirname(__file__), uri))
    path, fname = os.path.split(uri)
    mname, ext = os.path.splitext(fname)

    if os.path.exists(os.path.join(path,mname)+'.pyc'):
        try:
            return imp.load_compiled(mname, uri)
        except:
            pass
    if os.path.exists(os.path.join(path,mname)+'.py'):
        try:
            return imp.load_source(mname, uri)
        except:
            pass

    return mod
Стамат
источник
0

Следующая часть работала для меня:

>>>import imp; 
>>>fp, pathname, description = imp.find_module("/home/test_module"); 
>>>test_module = imp.load_module("test_module", fp, pathname, description);
>>>print test_module.print_hello();

если вы хотите импортировать в shell-скрипт:

python -c '<above entire code in one line>'
PanwarS87
источник
-2

Например, мои имена модулей похожи на jan_module/ feb_module/ mar_module.

month = 'feb'
exec 'from %s_module import *'%(month)
Chiru
источник
-7

Следующее работало для меня:

import sys, glob
sys.path.append('/home/marc/python/importtest/modus')
fl = glob.glob('modus/*.py')
modulist = []
adapters=[]
for i in range(len(fl)):
    fl[i] = fl[i].split('/')[1]
    fl[i] = fl[i][0:(len(fl[i])-3)]
    modulist.append(getattr(__import__(fl[i]),fl[i]))
    adapters.append(modulist[i]())

Загружает модули из папки 'modus'. Модули имеют один класс с тем же именем, что и имя модуля. Например, файл modus / modu1.py содержит:

class modu1():
    def __init__(self):
        self.x=1
        print self.x

В результате получается список динамически загружаемых классов «адаптеров».

Марк де Линьи
источник
13
Пожалуйста, не хороните ответы без указания причины в комментариях. Это никому не помогает.
Ребс
Я хотел бы знать, почему это плохо.
DevPlayer
Так же, как и я, так как я новичок в Python и хочу знать, почему это плохо.
Космос
5
Это плохо не только потому, что это плохой питон, но и вообще плохой код. Что такое fl? Определение цикла for является слишком сложным. Путь жестко запрограммирован (и, например, не имеет значения). Он использует обескураженный python ( __import__), для чего все это fl[i]? Это в основном нечитаемо и неоправданно сложно для чего-то, что не так уж сложно - посмотрите на голосующий ответ с одной строкой.
Фил