Выполнение задач параллельно, чтобы использовать несколько процессоров
В файле .txt есть список IP-адресов, например: 1.1.1.1 2.2.2.2 3.3.3.3 За каждым IP-адресом находится сервер, и на каждом сервере есть sshd, работающий на порте 22. Не каждый сервер находится в known_hostsсписке (на моем компьютере Ubuntu 10.04 LTS / bash). Как я могу запускать команды на этих...
Я использую четырехъядерный процессор Freescale IMX6. Я хочу знать, topперечисляет ли команда использование процессора всеми 4 ядрами или одним ядром. Я вижу, что загрузка ЦП приложения одинакова с 4 ядрами и одним ядром. Я предполагал, что загрузка процессора приложением увеличится на одном ядре и...
Мне нужно скачать большой файл (1 ГБ). У меня также есть доступ к нескольким компьютерам под управлением Linux, но каждый ограничен скоростью загрузки 50 КБ / с по политике администратора. Как распределить загрузку этого файла на несколько компьютеров и объединить их после загрузки всех сегментов,...
У меня есть папка с 250+ файлами по 2 ГБ каждый. Мне нужно найти строку / шаблон в этих файлах и вывести результат в outputфайл. Я знаю, что могу выполнить следующую команду, но она слишком медленная !! grep mypattern * > output Я хочу ускорить это. Будучи программистом на Java, я знаю, что...
Есть ли какой-нибудь инструмент / команда в Linux, которую я могу использовать для одновременного запуска команды на нескольких вкладках? Я хочу выполнить одну и ту же команду: ./myprog argument1 argument2одновременно в нескольких оболочках, чтобы проверить, нормально ли работают мьютексы в...
Я хочу собрать как можно быстрее. Пойди разберись. И хотел бы автоматизировать выбор номера, следуя -jопции. Как я могу программно выбрать это значение, например, в сценарии оболочки? Вывод nprocэквивалентен числу потоков, которые у меня есть для компиляции? make -j1 make...
В предположении, что дисковый ввод-вывод и свободная оперативная память являются узким местом (хотя процессорное время не является ограничением), существует ли инструмент, который может рассчитывать несколько дайджестов сообщений одновременно? Меня особенно интересует вычисление дайджестов больших...
У меня есть куча изображений PNG в каталоге. У меня есть приложение pngout, которое я запускаю для сжатия этих изображений. Это приложение вызывается скриптом, который я сделал. Проблема в том, что этот скрипт делает по одному, что-то вроде этого: FILES=(./*.png) for f in "${FILES[@]}" do echo...
Предположим , что у меня есть три (или более) Баш сценариев: script1.sh, script2.shи script3.sh. Я хотел бы вызвать все три сценария и запустить их параллельно . Один из способов сделать это - просто выполнить следующие команды: nohup bash script1.sh & nohup bash script2.sh & nohup bash...
У меня проблема со сценариями оболочки, когда у меня есть каталог, полный входных файлов (каждый файл содержит много входных строк), и мне нужно обрабатывать их индивидуально, перенаправляя каждый из их выходных данных в уникальный файл (иначе, file_1.input needs). быть захваченным в file_1.output...
Я использую xargsс опцией --max-args=0(альтернативно -P 0). Однако выходные данные процессов объединяются в stdoutпоток без учета правильного разделения строк. Поэтому я часто получаю такие строки: <start-of-line-1><line-2><end-of-line-1> Как я использую egrepс ^в моем шаблоне на...
У меня есть скрипт оболочки bash, в котором я передаю некоторые данные через 5 или 6 различных программ, а затем окончательные результаты в файл с разделителями табуляции. Затем я делаю то же самое снова для отдельного подобного набора данных и выводлю во второй файл. Затем оба файла вводятся в...
Рассмотрим следующий сценарий. У меня есть две программы A и B. Программа A выводит в stdout строки строк, в то время как программа B обрабатывает строки из stdin. Способ использовать эти две программы, конечно: foo @ bar: ~ $ A | В Теперь я заметил, что это съедает только одно ядро; отсюда мне...
Я могу SSH на удаленной машине, которая имеет 64 ядра. Допустим, мне нужно параллельно запустить 640 сценариев оболочки на этом компьютере. Как мне это сделать? Я вижу разделение 640 скриптов на 64 группы в каждой из 10 скриптов. Как мне тогда запустить каждую из этих групп параллельно , то есть по...
Я нашел только puf (Parallel URL fetcher), но не смог заставить его читать URL из файла; что-то вроде puf < urls.txt тоже не работает. На сервере установлена операционная система...
Предположим, у меня есть два ресурса с именами 0и 1, к которым можно получить доступ только исключительно. Есть ли способ восстановить «индекс» «параллельного процессора», который xargsзапускается, чтобы использовать его в качестве бесплатного сервиса взаимного исключения? Например, рассмотрим...
У меня есть задача, которая обрабатывает список файлов на стандартный ввод. Время запуска программы является значительным, и количество времени, которое занимает каждый файл, варьируется в широких пределах. Я хочу порождать значительное количество этих процессов, а затем отправлять работу тем, кто...
У меня есть три вида данных в разных форматах; для каждого типа данных существует скрипт Python, который преобразует его в единый унифицированный формат. Этот сценарий Python является медленным и привязанным к процессору (к одному ядру на многоядерном компьютере), поэтому я хочу запустить три его...
В настоящее время у меня проблемы с ddвызовом разреженного файла в качестве input ( if) и файла в качестве output ( of) с conv=sparse. ddпохоже, что используется только одно ядро ЦП ( Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHz4 ядра + 4 Intel Hyperthreads) (100% от 1 ядра), поэтому мне было...
Я знаю, что в командной строке я могу использовать &команду в фоновом режиме. Но мне интересно, смогу ли я сделать это в сценарии. У меня есть такой скрипт: date_stamp=$(date +"%Y-%m-%d" --date='yesterday') shopt -s extglob cd /my/working/directory/ sh ./stay/get_it_ios.sh sh...