Когда следует вызывать multiprocessing.Pool.join?

Я использую multiprocess.Pool.imap_unordered следующим образом

from multiprocessing import Pool
pool = Pool()
for mapped_result in pool.imap_unordered(mapping_func, args_iter):
    do some additional processing on mapped_result

Мне нужно позвонить pool.closeили pool.joinпосле цикла for?

Нет, нет, но, вероятно, это хорошая идея, если вы больше не собираетесь использовать бассейн.

Причины звонка, pool.closeили pool.joinони хорошо сказаны Тимом Питерсом в этом сообщении SO :

Что касается Pool.close (), вы должны вызывать его тогда и только тогда, когда вы никогда не собираетесь отправлять больше работы экземпляру Pool. Поэтому Pool.close () обычно вызывается, когда распараллеливаемая часть вашей основной программы завершена. Затем рабочие процессы завершатся, когда вся уже назначенная работа будет завершена.

Также отличной практикой является вызов Pool.join () для ожидания завершения рабочих процессов. Среди других причин часто нет хорошего способа сообщить об исключениях в распараллеленном коде (исключения возникают в контексте, который лишь отдаленно связан с тем, что делает ваша основная программа), а Pool.join () предоставляет точку синхронизации, которая может сообщать о некоторых произошедших исключениях. в рабочих процессах, которые вы иначе никогда бы не увидели.

У меня была та же проблема с памятью, что и использование памяти с помощью Python multiprocessing.pool, когда я не использовал его, pool.close()и pool.join()при использовании pool.map()с функцией, которая вычисляет расстояние Левенштейна, продолжает расти . Функция работала нормально, но сборщик мусора на машине с Win7 64 происходил некорректно, а использование памяти продолжало выходить из-под контроля каждый раз при вызове функции, пока не прекращала работу всей операционной системы. Вот код, исправивший утечку:

stringList = []
for possible_string in stringArray:
    stringList.append((searchString,possible_string))

pool = Pool(5)
results = pool.map(myLevenshteinFunction, stringList)
pool.close()
pool.join()

После закрытия и присоединения к пулу утечка памяти ушла.