ускорить сжатие GZIP

Можно ли ускорить gzipпроцесс?

я использую

mysqldump "$database_name" | gzip > $BACKUP_DIR/$database_name.sql.gz

для резервного копирования базы данных в каталог $BACKUP_DIR.

на странице написано:

- # --fast --best
Регулирует скорость сжатия, используя указанную цифру #, где -1 или --fast указывает на самый быстрый метод сжатия (без сжатия), а -9 или --best указывает на самый медленный метод сжатия ( лучшее сжатие). Уровень сжатия по умолчанию равен -6 (то есть смещен в сторону высокого сжатия за счет скорости).

• Насколько эффективно это будет использовать --fast?
• Эффективно ли это снижает использование процессора на современном компьютере?

Мои результаты теста

Я не заметил никакого ускорения:

• 7 минут, 47 секунд (с коэффициентом по умолчанию -6 )
• 8 минут, 36 секунд (с соотношением --fast(= 9))

Таким образом, кажется, что это займет еще больше времени, чтобы использовать быстрое сжатие?

Только более высокое сжатие действительно замедляет это:

• 11 минут, 57 секунд (с соотношением --best(= 1))

После того, как lzopя получил идею, я тоже проверил это, и это действительно быстрее:

• 6 минут, 14 секунд с lzop -1 -f -o $BACKUP_DIR/$database_name.sql.lzo

Если у вас многоядерный компьютер, использование pigz намного быстрее, чем традиционный gzip.

pigz, который означает параллельную реализацию gzip, является полностью функциональной заменой gzip, которая использует несколько процессоров и несколько ядер для сжатия при сжатии данных. pigz был написан Марком Адлером и использует библиотеки zlib и pthread.

Свинья может быть использована в качестве замены для gzip. Обратите внимание, что можно распараллелить только сжатие, а не распаковку.

Используя pigz, командная строка становится

mysqldump "$database_name" | pigz > $BACKUP_DIR/$database_name.sql.gz

От man gzip:

   -# --fast --best
          Regulate  the  speed  of compression using the
          specified digit #, where -1  or  --fast  indi‐
          cates  the  fastest  compression  method (less
          compression) and -9 or  --best  indicates  the
          slowest compression method (best compression).
          The default compression level is -6 (that  is,
          biased  towards high compression at expense of
          speed).

Если вам нужно, чтобы он был быстрым из-за проблем с блокировкой базы данных, и у вас достаточно быстрый / большой диск для временного хранения данных без сжатия, вы можете вместо этого использовать этот метод:

mysqldump "$database_name" > "$BACKUP_DIR"/"$database_name".sql
nice gzip "$BACKUP_DIR"/"$database_name".sql &

Т.е. сначала сохраните резервную копию (что быстрее, чем gzipping, если диск работает быстро, а процессор работает медленно), а затем произойдет gzipping в фоновом режиме.

Это также может позволить вам использовать лучший алгоритм сжатия, поскольку больше не имеет значения (напрямую), сколько времени занимает сжатие.