Вопросы с тегом «parallelism»

9
Использование только одного ядра процессора

Мне нужно выполнить тесты производительности для моей параллельной программы, и мое требование состоит в том, чтобы она работала только на одном ядре процессора. (Я не хочу сотрудничать с потоками - я хочу всегда переключать контекст). Итак, у меня есть два вопроса: Лучшее решение - Как подписать и...

9
правильное параллельное использование xargs

Я использую xargsдля вызова сценария Python для обработки около 30 миллионов небольших файлов. Я надеюсь использовать xargsдля распараллеливания процесса. Я использую команду: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt По сути, Convert.pyпрочитает...

9
Распараллеливание цикла for

Я хочу распараллелить forциклы следующего кода. Как это сделать? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); then min=$val2; fi done...

8
GNU Parallel для бедняков реализована в ksh?

Я хотел бы использовать функцию параллельного запуска GNU, где он может выполнять команду и список, в который она подается параллельно, и выплевывать его после того, как все будет сделано, однако я не хочу устанавливать параллельный GNU на всех наших серверах. Или, возможно, параллельная версия...

8
Виртуальная файловая система только для записи для хранения файлов в архиве

У меня смущающий параллельный процесс, который создает огромное количество почти (но не полностью) идентичных файлов. Есть ли способ архивировать файлы «на лету», чтобы данные не занимали больше места, чем необходимо? Сам процесс принимает параметры командной строки и печатает имя каждого файла,...

8
Может $! вызвать условия гонки при использовании в скриптах, работающих параллельно?

Скажем, у меня есть несколько сценариев bash, которые работают параллельно, с кодом, подобным следующему: #!/bin/bash tail -f /dev/null & echo "pid is "$! Является ли $!гарантированно дать мне PID в самой последней фоновой задачи в этом сценарии , или это самая последняя фоновая задача во всем...

8
Bash: несколько для циклов в фоновом режиме

Это правильный способ запустить несколько последовательных обработок в фоновом режиме? for i in {1..10}; do for j in {1..10}; do run_command $i $j; done & done; Все jдолжны быть обработаны после друг друга для данного i, но все iдолжны быть обработаны...

2
Можете ли вы создать пул процессов с помощью сценариев оболочки?

Скажем, у меня есть большое количество заданий (десятки или сотни), которые нужно выполнять, но они требуют значительных ресурсов процессора и только несколько из них могут быть запущены одновременно. Есть ли простой способ запустить Xработу сразу и начать новую после ее завершения? Единственное,...