Чтобы сделать мой код более «питоническим» и более быстрым, я использую «многопроцессорность» и функцию карты, чтобы отправить ему а) функцию и б) диапазон итераций. Имплантированное решение (то есть вызов tqdm непосредственно в диапазоне tqdm.tqdm (диапазон (0, 30)) не работает с...
Можно ли создать пул Python, который не является демоническим? Я хочу, чтобы пул мог вызывать функцию, внутри которой есть другой пул. Я хочу этого, потому что процессы deamon не могут создавать процесс. В частности, это вызовет ошибку: AssertionError: daemonic processes are not allowed to have...
В документации к multiprocessingмодулю показано, как передать очередь процессу, запущенному с multiprocessing.Process. Но как я могу разделить очередь с запущенными асинхронными рабочими процессами apply_async? Мне не нужно динамическое объединение или что-то еще, просто способ для рабочих...
У меня есть сценарий, который успешно выполняет набор задач многопроцессорного пула с imap_unordered()вызовом: p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion Однако у меня num_tasksоколо 250 000, поэтому...
Я использую multiprocess.Pool.imap_unordered следующим образом from multiprocessing import Pool pool = Pool() for mapped_result in pool.imap_unordered(mapping_func, args_iter): do some additional processing on mapped_result Мне нужно позвонить pool.closeили pool.joinпосле цикла for?...
Мне очень сложно понять, как многопроцессорная очередь работает на Python и как ее реализовать. Допустим, у меня есть два модуля Python, которые обращаются к данным из общего файла, назовем эти два модуля писателем и читателем. Мой план состоит в том, чтобы и читатель, и писатель помещали запросы...
Я попытался прочитать документацию на http://docs.python.org/dev/library/multiprocessing.html, но все еще борюсь с многопроцессорной обработкой Queue, Pool и Locking. А пока мне удалось построить пример ниже. Что касается очереди и пула, я не уверен, правильно ли я понял эту концепцию, поэтому...
Мне часто нужно применить функцию к очень большим группам DataFrame(смешанных типов данных), и я хотел бы использовать преимущества нескольких ядер. Я могу создать итератор из групп и использовать модуль многопроцессорности, но это неэффективно, потому что каждая группа и результаты функции должны...
У меня есть массив SciPy (матрица) объемом 60 ГБ, который я должен использовать для более чем 5 multiprocessing Processобъектов. Я видел numpy-sharedmem и читал это обсуждение в списке SciPy. Кажется, есть два подхода - numpy-sharedmemи использование a, multiprocessing.RawArray()и сопоставление...
Я попытался переписать код чтения csv, чтобы иметь возможность запускать его на нескольких ядрах в Python 3.2.2. Я пробовал использовать Poolобъект многопроцессорности, который адаптировал из рабочих примеров (и уже работал у меня для другой части моего проекта). Я столкнулся с сообщением об...
Задний план: Я работаю над проектом, который использует Django с базой данных Postgres. Мы также используем mod_wsgi в случае, если это имеет значение, так как некоторые из моих поисковых запросов упоминали об этом. При отправке веб-формы представление Django запускает работу, которая займет...
Какие факторы определяют оптимальный chunksizeаргумент в пользу таких методов multiprocessing.Pool.map()? .map()Похоже, что этот метод использует произвольную эвристику для размера фрагмента по умолчанию (поясняется ниже); что мотивирует этот выбор и существует ли более продуманный подход,...
import subprocess def my_function(x): return x + 100 output = subprocess.Popen(my_function, 1) #I would like to pass the function object and its arguments print output #desired output: 101 Я нашел только документацию по открытию подпроцессов с использованием отдельных скриптов. Кто-нибудь знает,...
У меня есть один большой текстовый файл, в котором я хочу обработать каждую строку (выполнить некоторые операции) и сохранить их в базе данных. Поскольку одна простая программа занимает слишком много времени, я хочу, чтобы она выполнялась с помощью нескольких процессов или потоков. Каждый поток /...
Как можно использовать многопроцессорность для решения неприятно параллельных задач ? Ужасно параллельные проблемы обычно состоят из трех основных частей: Чтение входных данных (из файла, базы данных, TCP-соединения и т. Д.). Выполните вычисления с входными данными, при этом каждый расчет не...
У меня есть задача Celery с интенсивным использованием ЦП. Я хотел бы использовать всю вычислительную мощность (ядра) во множестве экземпляров EC2, чтобы выполнить эту работу быстрее ( я думаю, параллельная распределенная задача сельдерея с многопроцессорностью ) . Я пытаюсь лучше понять термины,...