Вопросы с тегом «parallel-processing»

Параллельное выполнение нескольких команд (или даже компьютеров) для большей эффективности.

65
Как мой компьютер может использовать 300% вычислительной мощности ПК?

Я играю со сценарием, и я очень увлекся (он все еще работает, и все же мой компьютер еще не умер). Я запускаю 17 итераций сценария (с целью сбить мой компьютер). Глядя на монитор активности, я вижу, что у каждого процесса Python есть свой уникальный pid, и каждый из них, похоже, занимает около...

30
Распараллеливание rsync

Я просто переехал и обнаружил после некоторой проб и ошибок, что где-то между моим домом и моим удаленным сервером происходит некоторое регулирование ... но регулирование не очень разумно. Это только душит отдельные связи. Поэтому, если я скопирую один файл размером 1 ГБ, он будет работать со...

23
Параллельное выполнение команд с ограничением количества одновременных команд

Последовательный: for i in {1..1000}; do do_something $i; done- слишком медленно Параллельно: for i in {1..1000}; do do_something $i& done- слишком большая нагрузка Как выполнять команды параллельно, но не более, например, 20 экземпляров в минуту? Сейчас обычно используют взломать, как for i in...

22
Вывод на консоль в реальном времени Jenkins для параллельной многопоточной команды Fabric [закрыто]

Закрыто. Этот вопрос не по теме . В настоящее время не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме Супер пользователя. Закрыто 2 года назад . У нас есть команда фабрики Python, которая выполняется параллельно на нескольких хостах, что-то вроде...

18
Какой лучший способ выполнить параллельное копирование в Unix?

Мне обычно приходится копировать содержимое папки в сетевой файловой системе на мой локальный компьютер. В удаленной папке есть много файлов (1000 с), которые все относительно малы, но из-за сетевых издержек обычное копирование cp remote_folder/* ~/local_folder/занимает очень много времени (10...

16
Является ли более высокое число ядер или более высокая тактовая частота более полезными для производительности компьютера? [закрыто]

В настоящее время этот вопрос не очень подходит для нашего формата вопросов и ответов. Мы ожидаем, что ответы будут подтверждены фактами, ссылками или опытом, но этот вопрос, скорее всего, вызовет дебаты, споры, опрос или расширенное обсуждение. Если вы считаете, что этот вопрос можно улучшить и,...

13
Завершить процесс после того, как он был запущен в течение некоторого времени

Я хочу ограничить время, в течение которого grepкоманда процесса может выполняться или быть активной. Например. Я хочу выполнить следующее: grep -qsRw -m1 "parameter" /var Но перед запуском grepкоманды я хочу ограничить продолжительность grepпроцесса, скажем, не более 30 секунд. Как мне это...

12
Netcat как многопоточный сервер

Я использую netcat для запуска простого сервера, подобного этому: while true; do nc -l -p 2468 -e ./my_exe; done Таким образом, любой может подключиться к моему хосту через порт 2468 и поговорить с «my_exe». К сожалению, если кто-то еще захочет подключиться во время открытого сеанса, он получит...

11
Параллельные петли оболочки

Я хочу обработать много файлов, и так как у меня здесь куча ядер, я хочу сделать это параллельно: for i in *.myfiles; do do_something $i `derived_params $i` other_params; done Я знаю решение Makefile, но мои команды нуждаются в аргументах из списка глобализации оболочки. То, что я нашел, это: >...

10
Сортировка - параллель не распараллеливает

Я пытаюсь сделать уникальный набор строк, извлеченных из файла с помощью egrep с помощью sort -u, а затем сосчитать их. Около 10% строк (все 100 символов из алфавита [ATCG]) дублируются. Есть два файла, около 3 гигабайт каждый, 50% не имеют отношения, поэтому, возможно, 300 миллионов строк....

2
Процесс будет работать медленнее в одном потоке, а не в одном ядре

Так много процессоров теперь имеют 2/4 ядра и 4/8 потоков. Есть также несколько процессоров, которые являются 4-х ядерными и 4 темы. Означает ли это, что беспрецедентный процесс будет работать медленнее на одном и том же тактовом процессоре с процессором 8/4, чем на процессоре 4/4, поскольку он...

1
Запуск потоков на процессоре Intel без гиперпоточности

Процессор Intel Pentium E5700 (2M Cache, 3,00 ГГц, 800 МГц FSB) не имеет гиперпоточности, но имеет 2 ядра, поэтому я предполагаю, что он имеет 2 потока Теперь, если я напишу программу обработки больших чисел, которая одновременно запускает 4 потока, как этот процессор E5700 будет обрабатывать 4...

1
Тактовая частота в зависимости от количества ядер для параллельного компьютерного моделирования [дубликат]

На этот вопрос уже есть ответ здесь: Является ли более высокое число ядер или более высокая тактовая частота более полезными для производительности компьютера? [закрыто] 5 ответов Мой вопрос похож на некоторые вопросы «скорость против ядер», которые уже задавались на этом сайте. Однако меня...

0
Losetup Найти в параллель / параллелизм

Я пишу make-файл, который в какой-то момент создает файлы изображений. Я использую losetup -fв файле, чтобы найти устройство свободной петли при построении каждого изображения. Поскольку изображения не зависят друг от друга, я хотел бы иметь возможность make -jпараллельно. К сожалению, когда я это...