Компиляция с g ++ с использованием нескольких ядер

Быстрый вопрос: что такое флаг компилятора, позволяющий g ++ порождать несколько экземпляров самого себя, чтобы быстрее компилировать большие проекты (например, 4 исходных файла за один раз для многоядерного процессора)?

Вы можете сделать это с помощью make - с помощью gnu make это флаг -j (это также поможет на однопроцессорной машине).

Например, если вы хотите 4 параллельных задания из make:

make -j 4

Вы также можете запустить GCC в трубе с

gcc -pipe

Это будет направлять этапы компиляции, что также поможет поддерживать занятость ядер.

Если у вас также есть дополнительные машины, вы можете проверить distcc , который также будет обрабатывать компиляции.

Такого флага не существует, и его использование противоречит философии Unix, согласно которой каждый инструмент выполняет только одну функцию и выполняет ее хорошо. Порождение процессов компилятора концептуально является задачей системы сборки. Вероятно, вам нужен флаг -j (jobs) для GNU make

сделать -j4

Или вы можете использовать pmake или аналогичные системы параллельного создания.

Люди упоминали, makeно bjamтакже поддерживают аналогичную концепцию. Использование bjam -jxинструктирует bjam для создания xпараллельных команд.

Мы используем одни и те же сценарии сборки в Windows и Linux, и использование этой опции сокращает время сборки на обеих платформах вдвое. Ницца.

makeсделаю это для вас. Исследуйте -jи -lпереключатели в справочной странице. Я не думаю, что g++можно распараллелить.

Если вы используете make, используйте -j. От man make:

  -j [jobs], --jobs[=jobs]
       Specifies the number of jobs (commands) to run simultaneously.  
       If there is more than one -j option, the last one is effective.
       If the -j option is given without an argument, make will not limit the
       number of jobs that can run simultaneously.

И что особенно важно, если вы хотите написать сценарий или определить количество ядер, которые у вас есть (в зависимости от вашей среды, и если вы работаете во многих средах, это может сильно измениться), вы можете использовать вездесущую функцию Python cpu_count():

https://docs.python.org/3/library/multiprocessing.html#multiprocessing.cpu_count

Как это:

make -j $(python3 -c 'import multiprocessing as mp; print(int(mp.cpu_count() * 1.5))')

Если вы спрашиваете, почему 1.5я приведу пользователя artless-noise в комментарии выше:

Число 1,5 из-за отмеченной проблемы ввода-вывода. Это эмпирическое правило. Около 1/3 заданий будет ожидать ввода-вывода, поэтому остальные задания будут использовать доступные ядра. Число, большее, чем ядра, лучше, и вы можете даже подняться до 2х.

distcc также можно использовать для распространения компиляций не только на текущем компьютере, но и на других компьютерах в ферме, на которых установлен distcc.

Я не уверен насчет g ++, но если вы используете GNU Make, то make -j N (где N - количество потоков, которое может создать make) позволит make запускать несколько заданий g ++ одновременно (так долго так как файлы не зависят друг от друга).

Параллельный GNU

Я делал синтетический тест для компиляции и не мог потрудиться написать Makefile, поэтому я использовал:

sudo apt-get install parallel
ls | grep -E '\.c$' | parallel -t --will-cite "gcc -c -o '{.}.o' '{}'"

Объяснение:

• {.} принимает входной аргумент и удаляет его расширение
• -t распечатывает команды, которые выполняются, чтобы дать нам представление о прогрессе
• --will-cite удаляет запрос на цитирование программного обеспечения, если вы публикуете результаты, используя его ...

parallel это так удобно, что я даже сам могу проверить временную метку:

ls | grep -E '\.c$' | parallel -t --will-cite "\
  if ! [ -f '{.}.o' ] || [ '{}' -nt '{.}.o' ]; then
    gcc -c -o '{.}.o' '{}'
  fi
"

xargs -Pтакже может запускать задания параллельно, но это немного менее удобно, если вы выполняете манипулирование расширением или запускаете несколько команд с ним: вызов нескольких команд через xargs

Параллельное связывание было задано по адресу: Может ли gcc использовать несколько ядер при связывании?

ТОДО: Мне кажется, я где-то читал, что компиляция может быть сведена к умножению матриц, поэтому, возможно, можно также ускорить компиляцию одного файла для больших файлов. Но я не могу найти ссылку сейчас.

Проверено в Ubuntu 18.10.