Как распаковать данные zlib в UNIX?

Я создал zlib-сжатые данные в Python, вот так:

import zlib
s = '...'
z = zlib.compress(s)
with open('/tmp/data', 'w') as f:
    f.write(z)

(или один вкладыш в оболочке: echo -n '...' | python2 -c 'import sys,zlib; sys.stdout.write(zlib.compress(sys.stdin.read()))' > /tmp/data)

Теперь я хочу распаковать данные в оболочке. Ни , zcatни uncompressработа:

$ cat /tmp/data | gzip -d -
gzip: stdin: not in gzip format

$ zcat /tmp/data 
gzip: /tmp/data.gz: not in gzip format

$ cat /tmp/data | uncompress -
gzip: stdin: not in gzip format

Кажется, я создал gzip-подобный файл, но без заголовков. К сожалению, я не вижу никакой возможности распаковать такие необработанные данные на man-странице gzip, и пакет zlib не содержит никакой исполняемой утилиты.

Есть ли утилита для распаковки сырых данных zlib?

Также можно распаковать его, используя стандартный shell-скрипт + gzip , если у вас его нет, или вы хотите использовать openssl или другие инструменты.
Хитрость заключается в том, чтобы добавить магический номер gzip и метод сжатия к фактическим данным из zlib.compress:

printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - /tmp/data |gzip -dc >/tmp/out

Изменения:
@ d0sboots прокомментировал: Для данных RAW Deflate вам нужно добавить еще 2 нулевых байта:
→"\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x00"

Этот вопрос о SO дает больше информации об этом подходе. Ответ там предполагает, что есть также 8-байтовый нижний колонтитул.

Пользователи @ Vitali-Kushner и @ mark-bessey сообщили об успехе даже с усеченными файлами, поэтому нижний колонтитул gzip не кажется строго обязательным.

@ tobias-kienzler предложил эту функцию для bashrc :
zlipd() (printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - $@ |gzip -dc)

Пользователь @tino прокомментировал ниже ответ OpenSSL, но я думаю, что это должно быть отдельным:

zlib-flate -uncompress < FILE

Я попробовал это, и это сработало для меня.

zlib-flateможно найти в пакете qpdf(в Debian Squeeze и Fedora 23, согласно комментариям в других ответах)

Я нашел решение (одно из возможных), оно использует openssl :

$ openssl zlib -d < /tmp/data

или же

$ openssl zlib -d -in /tmp/data

* ПРИМЕЧАНИЕ: функциональность zlib, по-видимому, доступна в последних версиях openssl> = 1.0.0 (OpenSSL должен быть настроен / собран с опцией zlib или zlib-dynamic, последняя используется по умолчанию)

Я рекомендую pigz от Марка Адлера , соавтора библиотеки сжатия zlib. Выполните, pigzчтобы увидеть доступные флаги.

Ты заметишь:

-z --zlib Compress to zlib (.zz) instead of gzip format.

Вы можете распаковать, используя -dфлаг:

-d --decompress --uncompress Decompress the compressed input.

Предполагая файл с именем «тест»:

• pigz -z test - создает сжатый zlib файл с именем test.zz
• pigz -d -z test.zz - преобразует test.zz в распакованный тестовый файл

На OSX вы можете выполнить brew install pigz

zlibреализует сжатие, используемое gzip, но не формат файла. Вместо этого вы должны использовать gzipмодуль , который сам использует zlib.

import gzip
s = '...'
with gzip.open('/tmp/data', 'w') as f:
    f.write(s)

Это может сделать это:

import glob
import zlib
import sys

for filename in sys.argv:
    with open(filename, 'rb') as compressed:
        with open(filename + '-decompressed', 'wb') as expanded:
            data = zlib.decompress(compressed.read())
            expanded.write(data)

Затем запустите это так:

$ python expander.py data/*

Пример программы, zpipe.c найденной здесь самим Марком Адлером (поставляется с исходным дистрибутивом библиотеки zlib), очень полезен для этих сценариев с необработанными данными zlib. Компилировать cc -o zpipe zpipe.c -lzи распаковывать zpipe -d < raw.zlib > decompressed. Это может также сделать сжатие без -dфлага.

В macOS, которая полностью совместима с POSIX, UNIX (формально сертифицирован!) Не OpenSSLимеет zlibподдержки, ее тоже нет, zlib-flateи хотя первое решение работает так же, как и все решения Python, первое решение требует, чтобы данные ZIP находились в файле. и все остальные решения вынуждают вас создавать скрипт Python.

Вот решение на основе Perl, которое можно использовать как однострочник командной строки, получать входные данные через канал STDIN и работать из коробки с недавно установленной macOS:

cat file.compressed | perl -e 'use Compress::Raw::Zlib;my $d=new Compress::Raw::Zlib::Inflate();my $o;undef $/;$d->inflate(<>,$o);print $o;'

В более отформатированном виде скрипт Perl выглядит так:

use Compress::Raw::Zlib;
my $decompressor = new Compress::Raw::Zlib::Inflate();
my $output;
undef $/;
$decompressor->inflate(<>, $output);
print $output;

Вы можете использовать это для сжатия с помощью zlib:

openssl enc -z -none -e < /file/to/deflate

И это, чтобы спустить

openssl enc -z -none -d < /file/to/deflate

zcat -f infile > outfile 

у меня работает на fedora25