Эффективное преобразование файлов gzip в bzip2

У меня есть куча gzip-файлов, которые я должен время от времени конвертировать в bzip2. В настоящее время я использую сценарий оболочки, который просто 'gunzip' каждый файл, а затем 'bzip2 его. Хотя это работает, для завершения требуется много времени.

Можно ли сделать этот процесс более эффективным? Я готов совершить погружение и посмотреть исходные коды gunzip и bzip2, если это необходимо, но я просто хочу быть уверен в выигрыше. Есть ли надежда на повышение эффективности процесса?

Этот вопрос задавался давным-давно, когда pbzip2 либо не был доступен, либо не был способен сжимать из stdin, но теперь вы можете распараллеливать и распаковывать, и сжимать шаги, используя параллельный и pbzip2 (вместо bzip2 ):

ls *.gz | parallel "gunzip -c {} | pbzip2 -c > {.}.bz2"

что значительно быстрее, чем при использовании bzip2 .

Интересно, а не gunzip на одном шаге и bzip2 на другом, было бы более эффективно использовать трубы. Что-то типаgunzip --to-stdout foo.gz | bzip2 > foo.bz2

Я думаю, с двумя или более процессорами, это определенно будет быстрее. Но, возможно, даже с одним ядром. Я позорно признаюсь, что не испытал это, все же.

Параллельная версия GNU ( http://www.gnu.org/software/parallel ) может быть полезна, если у вас несколько ядер (или даже несколько машин):

ls *.gz | parallel "gunzip -c {} | bzip2 > {.}.bz2"

Прочитайте учебник / справочную страницу для деталей и опций.

То, что ты сейчас делаешь, - твоя лучшая ставка. Нет доступных инструментов для конвертации, и попытка bzip2 уже сжатого gzip-файла на самом деле не вариант, так как он часто имеет нежелательные эффекты. Поскольку алгоритм отличается, преобразование будет включать в себя извлечение исходных данных независимо. Если, конечно, gzipping не был шагом в процессе bzip2, к сожалению, это не так.

Иногда мне нужно делать то же самое с файлами журналов. Сначала я начинаю с самых маленьких файлов * .gz ( ls -rS), gunzip, а затем и bzip2 по отдельности. Я не знаю, можно ли направить выход gunzip непосредственно на вход bzip2. Команда bzip2 намного медленнее при сжатии, чем gunzip при распаковке, что может потреблять память и пространство подкачки на хосте.

Улучшения или предложения приветствуются. Вот мой единственный вкладыш:

for i in $(ls -rS *.gz | sed 's/\.gz//'); do gunzip ${i}.gz; bzip2 -9 ${i}; done

Если у вас их несколько, прочитайте статью в ЖЖ с хорошим сценарием оболочки.

http://linuxgazette.net/123/bechtel.html

7zip получает лучшее сжатие, и является многопоточным.

Просто пришлось сделать это несколько минут назад:

find . -name "*.gz" | perl -pi -e 's/\.gz$//g;' | xargs -n1 ./rezip

Где rezipбудет определяться как:

#!/bin/bash
gunzip -v $1.gz && bzip2 -9v $1

При желании вы также можете сделать его многопоточным, используя -Pопцию с xargs, но будьте осторожны с этим. (Начните с низкого!)