Реализация JavaScript в Gzip [закрыто]

208

Я пишу веб-приложение, которое должно хранить данные JSON в небольшом серверном кэше фиксированного размера через AJAX (подумайте: квоты Opensocial ). У меня нет контроля над сервером.

Мне нужно уменьшить размер хранимых данных, чтобы они не выходили за пределы квоты на стороне сервера, и я надеялся получить возможность сжать зашифрованный JSON в браузере перед его отправкой на сервер.

Однако я не могу найти много способов реализации Gzip на JavaScript. Любые предложения о том, как я могу сжать данные на стороне клиента перед отправкой?

javascript ajax compression gzip Дэвид Цитрон
источник
6
Вы отправляете его на сервер. Вот почему существуют понятия «загрузка» и «загрузка». Возможно, именно поэтому вы получаете ответы, в которых говорится, что «сервер может это сделать».
Томалак
3
Правильная реализация этого, вероятно, сложно, так как JavaScript является однопоточным. Вероятно, придется сжимать пакетами, используя setTimeout (), чтобы пользовательский интерфейс не блокировался при сжатии.
Август Лиллеас,
возможно, вы могли бы написать свой собственный алгоритм сжатия
Captain kurO
3
@AugustLilleaas теперь вы можете использовать веб-работников, чтобы сделать это :)
Капитан Очевидность

Ответы:

138

Править Похоже, что есть лучшее решение LZW, которое корректно обрабатывает строки Unicode по адресу http://pieroxy.net/blog/pages/lz-string/index.html (благодаря pieroxy в комментариях).

Я не знаю ни одной реализации gzip, но библиотека jsolait (сайт, кажется, ушел) имеет функции для сжатия / распаковки LZW. Код распространяется под LGPL .

// LZW-compress a string
function lzw_encode(s) {
    var dict = {};
    var data = (s + "").split("");
    var out = [];
    var currChar;
    var phrase = data[0];
    var code = 256;
    for (var i=1; i<data.length; i++) {
        currChar=data[i];
        if (dict[phrase + currChar] != null) {
            phrase += currChar;
        }
        else {
            out.push(phrase.length > 1 ? dict[phrase] : phrase.charCodeAt(0));
            dict[phrase + currChar] = code;
            code++;
            phrase=currChar;
        }
    }
    out.push(phrase.length > 1 ? dict[phrase] : phrase.charCodeAt(0));
    for (var i=0; i<out.length; i++) {
        out[i] = String.fromCharCode(out[i]);
    }
    return out.join("");
}

// Decompress an LZW-encoded string
function lzw_decode(s) {
    var dict = {};
    var data = (s + "").split("");
    var currChar = data[0];
    var oldPhrase = currChar;
    var out = [currChar];
    var code = 256;
    var phrase;
    for (var i=1; i<data.length; i++) {
        var currCode = data[i].charCodeAt(0);
        if (currCode < 256) {
            phrase = data[i];
        }
        else {
           phrase = dict[currCode] ? dict[currCode] : (oldPhrase + currChar);
        }
        out.push(phrase);
        currChar = phrase.charAt(0);
        dict[code] = oldPhrase + currChar;
        code++;
        oldPhrase = phrase;
    }
    return out.join("");
}
Мэтью Крамли
источник
11
Согласно Википедии, срок действия патентов истек несколько лет назад. Это может быть хорошей идеей, чтобы проверить это, хотя.
Мэтью Крамли
3
LZW слишком стар, чтобы все еще быть запатентованным. Последние патенты закончились в 2003 году или около того. Есть множество бесплатных реализаций.
ypnos
5
Я вижу, по крайней мере, две проблемы с кодом выше: 1) попробуйте сжать «Test, чтобы сжать эти символы, не являющиеся ascii». 2) Об ошибке не сообщается, если код> 65535.
некоторые
5
Здесь представлены реализации на 21 языке. Rosettacode.org/wiki/LZW_compression написано, что он находится в
свободном
5
@ Некоторые я только что выпустил небольшую библиотеку, исправляющую именно те проблемы, на которые вы указываете: pieroxy.net/blog/pages/lz-string/index.html
pieroxy
53

У меня была другая проблема, я не хотел кодировать данные в gzip, но декодировать сжатые данные . Я запускаю код JavaScript за пределами браузера, поэтому мне нужно декодировать его с использованием чистого JavaScript.

Это заняло у меня некоторое время, но я обнаружил, что в библиотеке JSXGraph есть способ чтения сжатых данных.

Вот где я нашел библиотеку: http://jsxgraph.uni-bayreuth.de/wp/2009/09/29/jsxcompressor-zlib-compressed-javascript-code/ Существует даже отдельная утилита, которая может сделать это, JSXCompressor , и код лицензии LGPL.

Просто включите файл jsxcompressor.js в свой проект, и тогда вы сможете прочитать данные в сжатом формате, закодированные в формате 64:

<!doctype html>
</head>
<title>Test gzip decompression page</title>
<script src="jsxcompressor.js"></script>
</head>
<body>
<script>
    document.write(JXG.decompress('<?php 
        echo base64_encode(gzencode("Try not. Do, or do not. There is no try.")); 
    ?>'));
</script>
</html>

Я понимаю, что это не то, что вы хотели, но я все еще отвечаю здесь, потому что я подозреваю, что это поможет некоторым людям.

pcans
источник
3
Большое спасибо за то, что все еще делитесь. Это именно то, что мне было нужно. Вы, вероятно, сэкономили мне часы неудачных поисков, которые я действительно не могу сэкономить. +1
Кирузе
1
Я удивляюсь, почему на земле это называется «компрессор», когда он не компрессор. лол
маттео
1
спустя почти 5 лет все еще полезно. Спасибо. Я помещаю большой JSON прямо на страницу, а не в AJAX. предварительно сжимая его с помощью PHP и распаковывая его обратно на стороне клиента JavaScript - я экономлю некоторые накладные расходы.
Нам нужно <?php..немного? .. Я спрашиваю, потому что это передается в decompressметод.
Jus12
я получаю14:16:28.512 TypeError: e.replace is not a function[Weitere Informationen] jsxcompressor.min.js:19:12201
Bluscream
40

Мы только что выпустили pako https://github.com/nodeca/pako , порт zlib для javascript. Я думаю, что сейчас это самая быстрая реализация js для deflate / inflate / gzip / ungzip. Кроме того, он имеет демократическую лицензию MIT. Pako поддерживает все параметры zlib, и его результаты являются бинарными.

Пример:

var inflate = require('pako/lib/inflate').inflate; 
var text = inflate(zipped, {to: 'string'});
Виталий
источник
7
Пожалуйста, предоставьте пример на стороне клиента для декодирования сжатых строк.
Редсандро
2
var inflate = require('pako/lib/inflate').inflate; var text = inflate(zipped, {to: 'string'});@Redsandro вот как я использую Пако.
Forresto
Этот клиентский пример бросаетincorrect header check
duhaime
17

Я перенес реализацию LZMA из модуля GWT в автономный JavaScript. Это называется LZMA-JS .


источник
1
у вас есть совместимый модуль php для него?
Сирбер
этот URL-адрес 404, и я не могу найти его на github.com/nmrugg либо
hanshenrik
Извините, ссылка изменилась. Вот новый: lzma-js.github.io/LZMA-JS
14

Вот некоторые другие алгоритмы сжатия, реализованные в Javascript:

Маурисио Шеффер
источник
эта реализация LZMA требует BrowserPlus (расширение браузера) и не выглядит чисто Javascript
Петр Финдейзен
эта реализация LZ77 больше не доступна, и, по крайней мере, ее версия Python (опубликованная на той же странице) была неправильной для довольно простых входных данных.
Петр Финдейзен
geocities мертв, обновит ссылку
Маурисио Шеффер
Это довольно близко к тому, что я хочу. Гугл вещи тоже будут обновлять здесь
Theofanis Pantelides
8

Я не тестировал, но есть реализация ZIP на JavaScript, называемая JSZip:

http://jszip.stuartk.co.uk/

https://stuk.github.io/jszip/

Sirber
источник
1
Это zip, а не gzip, и он использует pako под капотом. Разница в том, что zip содержит метаданные информации о файле.
Виталий
0

Я предполагаю, что общая реализация сжатия JavaScript на стороне клиента была бы очень дорогой операцией с точки зрения времени обработки, в отличие от времени передачи еще нескольких пакетов HTTP с несжатой полезной нагрузкой.

Вы провели какое-нибудь тестирование, которое дало бы вам представление о том, сколько времени можно сэкономить? Я имею в виду, экономия полосы пропускания не может быть тем, что вы ищете, или не так

Томалак
источник
Мне нужно сохранить общий размер данных в определенной квоте - размер важнее времени.
Дэвид Цитрон
Хм ... Почему предел? Просто любопытно.
Томалак
Что ж, вот что делает Google: code.google.com/apis/opensocial/articles/… - Типичные квоты Opensocial составляют около 10 тыс.
Дэвид Цитрон
Понятно, спасибо за разъяснения.
Томалак
1
В зависимости от того, насколько интенсивно сжатие, вы можете использовать веб-работников для выполнения задачи за кулисами.
Заклеат
-3

Большинство браузеров могут распаковывать gzip на лету. Это может быть лучшим вариантом, чем реализация javascript.


источник
20
Да, но мне нужно сжать данные на стороне клиента перед их отправкой ...
Дэвид Цитрон,
-4

Вы можете использовать встроенный в страницу Java-апплет 1 пиксель на 1 пиксель и использовать его для сжатия.

Это не JavaScript, и клиентам потребуется среда выполнения Java, но она будет делать то, что вам нужно.

Богдан
источник
7
Интересно, но я бы предпочел не включать апплет, если это возможно.
Дэвид Цитрон
Я хотел бы добавить реальные случаи использования
CMC
1
Не очень хорошее решение, так как оно добавляет зависимость к Java. Кроме того, не все удосужились установить Java - сайт не будет работать для некоторых людей. Лично у меня установлена ​​Java, так как она мне давно нужна, но я предпочитаю посещать сайты, которые не используют Java.
Онкельборг