Я пытался распараллелить следующий скрипт, в частности, каждый из трех экземпляров цикла FOR, используя GNU Parallel, но не смог. Четыре команды, содержащиеся в цикле FOR, выполняются последовательно, каждый цикл занимает около 10 минут. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir...
Я смущен разницей или преимуществом (если есть) запуска набора задач в .shскрипте с использованиемGNU parallel Например, ответ Оле Танге : parallel ./pngout -s0 {} R{} ::: *.png вместо того, чтобы повторять их в фоновом режиме &. Например, ответ frostschutz : #copied from the link for...
У меня проблема со сценариями оболочки, когда у меня есть каталог, полный входных файлов (каждый файл содержит много входных строк), и мне нужно обрабатывать их индивидуально, перенаправляя каждый из их выходных данных в уникальный файл (иначе, file_1.input needs). быть захваченным в file_1.output...
Я использую rsyncскрипт для синхронизации данных на одном хосте с данными на другом хосте. Данные содержат множество небольших файлов, размер которых составляет почти 1,2 ТБ. Для синхронизации этих файлов я использовал rsyncкоманду следующим образом: rsync -avzm --stats --human-readable...
В более крупном сценарии для последующей обработки некоторых данных моделирования у меня была следующая строка: parallel bnzip2 -- *.bz2 Который, если я parallelправильно понимаю (а могу и нет), должен запускать н-ядерные потоки программы над всеми файлами с указанным расширением. Вы можете...
Итак, у меня есть цикл while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Но это может занять много времени. Как бы я использовал GNU Parallel для этого цикла...
Я загружаю довольно гигантский файл в базу данных postgresql. Для этого я сначала использую splitфайл, чтобы получить файлы меньшего размера (30 ГБ каждый), а затем загружаю каждый файл меньшего размера в базу данных, используя GNU Parallelи psql copy. Проблема в том, что для разделения файла...
% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Я ожидаю, что вторая строка будет действовать так
Я хотел бы использовать функцию параллельного запуска GNU, где он может выполнять команду и список, в который она подается параллельно, и выплевывать его после того, как все будет сделано, однако я не хочу устанавливать параллельный GNU на всех наших серверах. Или, возможно, параллельная версия...
Предположим, я хочу найти все совпадения в сжатом текстовом файле: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rateиспользуется здесь для измерения пропускной способности трубы. На моей машине это около 420Mb / s (после распаковки). Сейчас я пытаюсь сделать параллельный grep,...