GzipのJavaScript実装[終了]

208

JSONデータをAJAXを介して小さな固定サイズのサーバー側キャッシュに保存する必要があるWebアプリケーションを作成しています（考えてみると、Opensocialクォータ）。サーバーを制御できません。

サーバー側の割り当て内に収まるように格納されたデータのサイズを減らす必要があり、サーバーに送信する前にブラウザーで文字列化されたJSONをgzipできることを望んでいました。

しかし、私はGzipのJavaScript実装の方法で多くを見つけることができません。送信する前にクライアント側でデータを圧縮する方法について何か提案はありますか？

javascript  ajax  compression  gzip 
— デビッドシトロン
ソース
6
サーバーに送信しています。そのため、「アップロード」と「ダウンロード」という概念があります。おそらくそれが、「サーバーが実行できる」と答える理由です。
— Tomalak 2008年
3
javascriptはシングルスレッドなので、これを適切に実装するのはおそらく難しいです。圧縮中にUIがロックしないように、setTimeout（）を使用してバッチで圧縮する必要があります。
— August Lilleaas 2009
多分あなたはあなた自身の圧縮アルゴリズムを書くことができました
— キャプテンkurO
3
@AugustLilleaasは今、あなたは、この:)を行うにはwebworkersを使用することができます
— キャプテン明白な

回答:

138

編集http://pieroxy.net/blog/pages/lz-string/index.htmlに Unicode文字列を正しく処理するより優れたLZWソリューションがあるようです（コメントのpieroxyに感謝します）。

gzipの実装については知りませんが、jsolaitライブラリー（サイトはなくなったようです）にはLZW圧縮/解凍の機能があります。コードはLGPLでカバーされています。

// LZW-compress a string
function lzw_encode(s) {
    var dict = {};
    var data = (s + "").split("");
    var out = [];
    var currChar;
    var phrase = data[0];
    var code = 256;
    for (var i=1; i<data.length; i++) {
        currChar=data[i];
        if (dict[phrase + currChar] != null) {
            phrase += currChar;
        }
        else {
            out.push(phrase.length > 1 ? dict[phrase] : phrase.charCodeAt(0));
            dict[phrase + currChar] = code;
            code++;
            phrase=currChar;
        }
    }
    out.push(phrase.length > 1 ? dict[phrase] : phrase.charCodeAt(0));
    for (var i=0; i<out.length; i++) {
        out[i] = String.fromCharCode(out[i]);
    }
    return out.join("");
}

// Decompress an LZW-encoded string
function lzw_decode(s) {
    var dict = {};
    var data = (s + "").split("");
    var currChar = data[0];
    var oldPhrase = currChar;
    var out = [currChar];
    var code = 256;
    var phrase;
    for (var i=1; i<data.length; i++) {
        var currCode = data[i].charCodeAt(0);
        if (currCode < 256) {
            phrase = data[i];
        }
        else {
           phrase = dict[currCode] ? dict[currCode] : (oldPhrase + currChar);
        }
        out.push(phrase);
        currChar = phrase.charAt(0);
        dict[code] = oldPhrase + currChar;
        code++;
        oldPhrase = phrase;
    }
    return out.join("");
}
— マシュー・クランリー
ソース
11
ウィキペディアによると、特許は数年前に失効しました。それをチェックすることは良い考えかもしれません。
— Matthew Crumley
3
LZWは古すぎて特許を取得できません。最後の特許は2003年かそこらで切れました。無料の実装がたくさんあります。
— ypnos 2008年
5
「この\ u0110 \ u0111 \ u0112 \ u0113 \ u0114非ASCII文字を圧縮するテスト。」圧縮する1）試み、2）コード> 65535場合、エラーが報告されていない：私は上記のコードを有する少なくとも二つの問題を参照してください
— いくつかの
5
21の異なる言語での実装があります。rosettacode.org/ wiki / LZW_compressionは2004
— 。– jcubic
5
@someここで指摘されている問題を正確に修正した小さなlibをリリースしました：pieroxy.net/blog/pages/lz-string/index.html
— pieroxy
53

別の問題がありました。gzipでデータをエンコードするのではなく、gzipで圧縮されたデータをデコードしたいのです。ブラウザの外でJavaScriptコードを実行しているため、純粋な JavaScript を使用してコードをデコードする必要があります。

少し時間がかかりましたが、JSXGraphライブラリにgzip圧縮されたデータを読み取る方法があることがわかりました。

ここに私がライブラリを見つけた場所があります：http : //jsxgraph.uni-bayreuth.de/wp/2009/09/29/jsxcompressor-zlib-compressed-javascript-code/ それを行うことができるスタンドアロンユーティリティ、JSXCompressorさえあります、そしてコードはライセンスされたLGPLです。

jsxcompressor.jsファイルをプロジェクトに含めるだけで、base 64でエンコードされたgzip圧縮されたデータを読み取ることができます。

<!doctype html>
</head>
<title>Test gzip decompression page</title>
<script src="jsxcompressor.js"></script>
</head>
<body>
<script>
    document.write(JXG.decompress('<?php 
        echo base64_encode(gzencode("Try not. Do, or do not. There is no try.")); 
    ?>'));
</script>
</html>

それはあなたが望んでいたものではないことは理解していますが、一部の人々に役立つと思われるので、ここで返信します。

— pcans
ソース
3
今後ともよろしくお願いいたします。これはまさに私が必要としたものです。あなたはおそらく私が本当に惜しむことのできない検索の失敗の時間を節約しました。+1
— キルセ
1
UNコンプレッサーなのに一体なぜ「コンプレッサー」と呼ばれるのかしら。笑
— matteo 2013年
1
ほぼ5年後、まだ有用です。ありがとうございました。大きなJSONをページに直接ダンプします。AJAXで処理するのではありません。それをPHPで事前圧縮し、JavaScriptのクライアント側で復元することにより、オーバーヘッドの一部を節約しています。
<?php..ビットが必要ですか？.. decompressメソッドに渡されるため、私は尋ねています。
— Jus12
私が得る14:16:28.512 TypeError: e.replace is not a function[Weitere Informationen] jsxcompressor.min.js:19:12201
— Bluscream
40

zlibをjavascriptに移植したpako https://github.com/nodeca/pakoをリリースしました。今では、deflate / inflate / gzip / ungzipのjs実装が最速だと思います。また、民主的なMITライセンスがあります。Pakoはすべてのzlibオプションをサポートしており、その結果はバイナリで同等です。

例：

var inflate = require('pako/lib/inflate').inflate; 
var text = inflate(zipped, {to: 'string'});
— Vitaly
ソース
7
gzipされた文字列をデコードするためのクライアント側の例を提供してください。
— Redsandro 2014年
2
var inflate = require('pako/lib/inflate').inflate; var text = inflate(zipped, {to: 'string'});@Redsandroここにパコの使い方があります。
— forresto
そのクライアントincorrect header check
— サイドの
17

LZMAの実装をGWTモジュールからスタンドアロンJavaScriptに移植しました。LZMA-JSと呼ばれています。

1
互換性のあるphpモジュールはありますか？
— Sirber
そのURLは404ですが、github.com / nmruggにもありません
— hanshenrik
リンクが変更されました。これが新しいものです：lzma-js.github.io/LZMA-JS
14

JavaScriptで実装されている他のいくつかの圧縮アルゴリズムを次に示します。

— マウリシオ・シェファー
ソース
このLZMA実装にはBrowserPlus（ブラウザ拡張）が必要であり、純粋なJavascriptではないように見えます
— Piotr Findeisen
このLZ77の実装は使用できなくなり、少なくともそのPythonバージョン（同じページで公開）は非常に単純な入力に対しては正しくありませんでした。
— Piotr Findeisen
geocitiesが死亡、リンクが更新されます
— Mauricio Scheffer、
これは私が欲しいものにかなり近いです。
— ググリング
0

一般的なクライアント側のJavaScript圧縮実装は、圧縮されていないペイロードを含むいくつかのHTTPパケットの転送時間とは対照的に、処理時間の点で非常にコストのかかる操作になると思います。

どれだけの時間を節約できるかがわかるようなテストをしましたか？つまり、帯域幅の節約はあなたが求めているものではあり得ないのでしょうか、それともできないのでしょうか？

— トマラック
ソース
合計データサイズを特定の割り当て内に収める必要があります。サイズは時間よりも重要です。
— David Citron
うーん…なぜ限界なの？ちょっと興味があるんだけど。
— Tomalak 2008年
さて、ここではGoogleのテイクはそれでだ：code.google.com/apis/opensocial/articles/... -典型的なOpensocialのクォータが10Kの周りにあります。
— David Citron
分かりました。ありがとうございます。
— Tomalak 2008年
1
圧縮の強度に応じて、Webワーカーを使用してバックグラウンドでタスクを実行できます。
— zachleat 2010
-3

ほとんどのブラウザは、オンザフライでgzipを解凍できます。これは、JavaScriptの実装よりも優れたオプションである可能性があります。

20
はい。ただし、データを送信する前にクライアント側でデータを圧縮する必要があります...
— David Citron
-4

ページに埋め込まれた1ピクセルあたり1ピクセルのJavaアプレットを使用して、圧縮に使用できます。

これはJavaScriptではなく、クライアントはJavaランタイムを必要としますが、必要なことを行います。

— ボグダン
ソース
7
興味深いですが、可能であればアプレットを含めることは避けたいと思います。
— David Citron
実際のユースケースを追加したい
— cmc '30
1
Javaへの依存関係を追加するため、良い解決策ではありません。それとは別に、誰もがJavaのインストールに悩んでいるわけではありません-このサイトは一部の人には機能しません。個人的には、ずっと前に必要だったのでJavaをインストールしましたが、Javaを使用しないサイトにアクセスすることを好みます。
— Onkelborg 2013
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.