PRNGを使用して魔法のように圧縮できますか？

この考えは、プログラミングを学び、最初にPRNGに出会った子供として私に思いつきました。どれほど現実的かはまだわかりませんが、今ではスタック交換があります。

これは驚くべき圧縮アルゴリズムのための14歳のスキームです：

PRNG sを取得し、シードでシードして、疑似ランダムバイトの長いシーケンスを取得します。そのシーケンスを別のパーティに送信するには、PRNGの説明、適切なシード、およびメッセージの長さを伝えるだけです。十分に長いシーケンスの場合、その説明はシーケンス自体よりもはるかに短くなります。

ここで、プロセスを逆にできると仮定します。十分な時間と計算リソースがあれば、ブルートフォース検索を実行して、目的のシーケンスを生成するシード（およびPRNG、つまりプログラム）を見つけることができました（猫のいたずらの面白い写真を見てみましょう）。

PRNGは十分な数のビットが生成された後に繰り返されますが、「典型的な」サイクルと比較すると、私のメッセージは非常に短いので、これは問題のようには見えません。

Voila、データを圧縮する効果的な（ルーベゴールドバーグ式の場合）方法。

したがって、仮定：

• 圧縮したいシーケンスは有限であり、事前にわかっています。
• 現金も時間も不足していません（両方の有限量が必要である限り）

知りたい：

• スキームの背後にある推論に根本的な欠陥はありますか？
• この種の思考実験を分析する標準的な方法は何ですか？

概要

良い答えが答えを明らかにするだけでなく、私が本当に求めていたのは何であるかを明らかにすることはしばしばあります。皆の忍耐と詳細な回答に感謝します。

答えの要約に対する私のn回目の試みは次のとおりです。

• PRNG /シード角度は何も寄与せず、目的のシーケンスを出力として生成するプログラムにすぎません。
• ピジョンホールの原則：長さ<= kの（メッセージを生成する）プログラムよりも、長さ> kのメッセージが多くあります。そのため、一部のシーケンスは、メッセージよりも短いプログラムの出力にはなり得ません。
• プログラム（メッセージ）のインタープリターが必ず事前に修正されていることに言及する価値があります。そして、その設計は、長さkのメッセージが受信されたときに生成できるメッセージの（小さな）サブセットを決定します。

この時点で、元のPRNGのアイデアはすでに消滅していますが、解決すべき最後の質問が少なくとも1つあります。

• Q：幸運にも、長い（しかし有限の）メッセージがたまたま<kビットの長さのプログラムの出力であることがわかりますか？

厳密に言えば、可能性のあるすべてのメッセージ（プログラム）の意味を事前に知っておく必要があるため、偶然ではありません。それは <kビットのメッセージの意味であるかそうでないかです。

> = kビットのランダムメッセージをランダムに選択した場合（なぜですか？）、いずれの場合でも、kビット未満で送信できる確率はゼロになり、送信できないことはほぼ確実になります。使用するビット数はkビット未満です。

OTOH、kビット未満のプログラムの出力であるメッセージからkビット以上の特定のメッセージを選択すると（そのようなメッセージがあると仮定して）、実際にはすでに送信されたビットを利用していますレシーバー（インタープリターの設計）。転送されたメッセージの一部としてカウントされます。

最後に：

• Q：このエントロピー / コルモゴロフ複雑性ビジネスとは何ですか？

最終的に、両方とも、（より単純な）鳩の巣の原理が圧縮できる量について教えているのと同じことを教えてくれます：おそらくまったくない、おそらくいくつかですが、確かに私たちが空想するほどではありません（チートしない限り）。

すばらしい新しい圧縮スキームを手に入れましたよね？じゃあ...

allみんなで遊ぼう、エントロピーゲーム♫

簡単にするために、固定nに対して、正確にビットのメッセージを圧縮することを想定します。ただし、長いメッセージに使用できるようにするには、最初のメッセージと2番目のメッセージを区別する何らかの方法が必要です（圧縮した内容を曖昧にすることはできません）。$n$$n$

したがって、あなたのスキームはPRNG /シードのいくつかのファミリーを決定し、たとえばを圧縮する場合、数kを書き込むだけで、その後にそれらのビットを生成する事前計算（および共有）シード/ PRNGコンボを識別しますn個のクエリ。わかった。長さnのビットストリングはいくつありますか？2 n（2つの項目の間でnの選択肢があります; 0と1）。つまり、これらのコンボの2 nを計算する必要があります。問題ない。ただし、kを読み取るにはバイナリで書き込む必要があります。kはどれくらい大きくできますか？まあ、それは2と同じくらい大きくすることができます$01000111001$$k$$n$$n$$2^n$$0$$1$$2^n$$k$$k$$2^n$。を書き込むには何ビット必要ですか？log 2 n = n。$2^n$$\log{2^n} = n$

おっとっと！圧縮している限り、圧縮スキームにはメッセージが必要です！

「ハハ！」とあなたは言うが、「それは最悪のケースだ！私のメッセージの1つはにマッピングされ、それを表すのに1ビットしか必要としない！勝利！」$0$$1$

はい、ただしメッセージは明確でなければなりません！続いて10から0を区別するにはどうすればよいですか？キーの一部は長さnであるため、すべてのキーはそうでなければなりません。さもないと、どこで開始および停止したかわかりません。$1$$0$$10$$n$

「ハハ！」と言いますが、「しかし、文字列の長さを最初にバイナリに入れることができます！それはに数えるだけでよく、$n$ビットでます！したがって、私の 0には log nのみがプレフィックスとして追加されますビット、私はまだ勝ちます！」$\log{n}$$0$$\log{n}$

はい、しかし今では、これらの本当に大きな数字の前にビットが付いています。圧縮スキームにより、メッセージの一部がさらに長くなりました！そして、半分あなたの数字のすべてのはで始まる1ので、半分のあなたのメッセージのは、そのはるかに長いです！$\log{n}$$1$

次に、終了文字、数字のgzip、長さ自体の圧縮などのアイデアをさらに展開しますが、それらはすべて結果のメッセージが長くなる場合があります。実際、メッセージを保存するたびに、応答で別のメッセージが長くなります。一般に、あなたはあなたのメッセージの「コスト」をシフトするだけです。いくつかを短くすると、他の部分が長くなります。長さnの2 n個のバイナリ文字列を書き出すよりも少ないスペースに異なるメッセージを収めることはできません。$2^n$$2^n$$n$

「ハハ！」と言いますが、「一部のメッセージを「愚かな」ものとして選択し、違法にすることができます。そうすれば、までカウントする必要はありません。それほど多くのメッセージをサポートしていないからです！」$2^n$

あなたは正しいですが、あなたは本当に勝っていません。サポートするメッセージのセットを縮小しました。送信するメッセージとしてa = 0000000011010とb = 111111110101000のみをサポートして場合、コードa → 0、b → 1のみを確実に持つことができ、これは私が言ったことと完全に一致します。ここで、n = 1です。メッセージの実際の長さは重要ではありません、それはいくつあるかです。$a=0000000011010$$b=111111110101000$$a\rightarrow 0$$b\rightarrow 1$$n=1$

「ハハ！」と言いますが、「しかし、私は単純に、それらの愚かなメッセージはまれであると判断することができます！まれなメッセージを大きくし、一般的なメッセージを小さくします！そして、平均して勝ちます！」

うん！おめでとうございます、あなたはエントロピーを発見しました！メッセージがあり、i番目のメッセージに送信される確率p iがある場合、予想されるメッセージの長さをエントロピーH = ∑ n i = 1 p i$n$$i$$p_i$このセット（1 / p i）メッセージの。それは一種の奇妙な表現ですが、あなたが本当に知っておく必要があるのは、すべてのメッセージが等しく発生する場合に最大であり、一部のメッセージが他のメッセージよりも一般的である場合にそれが小さくなることです。あなたが知っていれば、極端では、基本的にすべてのメッセージがあることを行っています$H = \sum_{i=1}^np_i\log(1/p_i)$。次に、この非常に効率的なコードを使用できます。それ以外の場合は、 a → 0、 x → 1 xです。その場合、予想されるメッセージの長さは基本的に 1であり、これはすごいことであり、エントロピー Hに非常に近くなります。ただし、 Hは下限であり、どんなに頑張っても、実際にそれを打ち負かすことはできません。$a=000111010101$$a\rightarrow0$$x\rightarrow1x$$1$$H$$H$

エントロピーを打ち負かすと主張するものはすべて、圧縮されたメッセージを明確に取得するのに十分な情報を提供していないか、単に間違っています。エントロピーは非常に強力な概念であるため、いくつかのアルゴリズムの実行時間を下限（場合によっては上限）することができます。なぜなら、それらが非常に高速（または非常に低速）で実行される場合、エントロピーに違反する何かを実行する必要があるためです。

ある未満の長さのバイナリ文字列N、および2 Nの長さのバイナリ文字列が正確$2^N-1$$N$$2^N$。これは、圧縮アルゴリズムが何であれ、元の文字列から圧縮文字列へのマッピングが単射（1対1）でなければならないという理由だけで、圧縮できない文字列が存在する必要があることを意味します。これは、コルモゴロフの複雑さの多くのアプリケーションの背後にある推進力です。$N$

実生活では、圧縮するシーケンスについて何かを知っていることがよくあります。たとえば、音声や画像などです。可逆圧縮の場合、シャノンのソースコーディング定理は、最適な圧縮率がソースのエントロピーに等しいことを示しています。非可逆符号化には、情報理論（レート歪み理論）に他の定理があります。したがって、この場合でも、データを圧縮できる量には制限があります。

$s$$k$$2^k$$n$$2^n$$n$$s$。

（別の答えが指摘したように、これはあなたが選択したすべての圧縮関数で起こります。）

他の既にわかっているポイントのほかに、このリンクを追加したいだけです：https ://www.schneier.com:443/blog/archives/2009/09/the_doghouse_cr.html

現在、私たちの太陽の年間エネルギー出力は約1.21×10 ^ 41エルグです。これで、理想的なコンピューターで約2.7×10 ^ 56のシングルビット変更を実行できます。すべての値を187ビットカウンターで処理するのに十分な状態変化。太陽の周りにダイソン球体を構築し、そのエネルギーを32年間損失なしですべて捕捉した場合、コンピューターを最大2 ^ 192までカウントできます。もちろん、このカウンターで有用な計算を実行するためのエネルギーは残っていません。

したがって、目的のデータの有効な187ビットのコンスタレーションを見つけるために反復する（比較しない...）だけでは、1年で太陽が放出するよりも多くのエネルギーを（達成不可能な）理想的な条件下で消費します。

ユニバーサルコンプレッサーが存在できないという非常に迅速な証拠。作成して、入力を圧縮するとします。次に、プログラムの出力を繰り返し圧縮します。常にサイズを小さくできる場合は、1ビットになるまで、すべてのステップで小さくなります。

おそらく、アルゴリズムの出力は、それ以上圧縮できないような構造になっていると主張できますが、再圧縮する前に決定論的なシャッフル*を適用することができます。

脚注：いくつかの決定論的なシャッフルは、実際にいくつかの圧縮スキームで役立ちます：http : //pytables.github.io/usersguide/optimization.html?highlight=shuffling#shufflingoptim

「圧縮」にPRNGを使用すると、基本的に1つの状況で役立ちます。「ランダムな」データを使用し、使用されたデータをコンパクトに記録する必要がある場合です。ほとんどの擬似ランダムジェネレータは、可能なシーケンスのごく一部しか生成できませんが、少数から中程度の数の「ランダム」シーケンスのみが必要な場合、PRNGが生成できるシーケンスの一部は十分すぎる場合があります。

保存したいデータのシーケンスが偶然に発生し、正しいシードが与えられた特定のPRNGが生成するものと一致する場合、シードを保存することはデータを保存するためのコンパクトな代替手段です。ただし、データのソースがそのような一致が発生する可能性が高い場合を除き、それらは非常にまれであるため、それらを検索する価値はありません。

定義上、圧縮解除のインジェクティブ性、およびメッセージを表すために選択する圧縮文字列の制限されたユニバースのために圧縮できない文字列がある理由を主張する答えの不協和音に追加することを検討するものはこれです：エントロピーが低く、構造化されたものよりも非常に多くの高エントロピーの無秩序な文字列があるため、ほとんどの文字列は圧縮できません。したがって、実際に見られる条件が生じます。ほとんどの場合、圧縮したいのは、順序と構造の一部を所有している場合が最も多く、この点により、エントロピーの低いオブジェクトの非常に小さい宇宙の一部です。これは、適切な出力長を選択することにより、より小さく、構造化された宇宙ですべてを圧縮できます。ここで構造化、エントロピー、順序付けという用語は、圧縮したいメッセージのセマンティクスと有用性の主観的な定義を反映するために、意図的に不正確です。

そして、質問者の要求への直接の回答で：*はい、もちろん幸運を得ることができ、PRNGの出力が圧縮したい正確なメッセージであることがわかります。 PRNGを特徴付けるまさにその特性、つまり（ほぼ）終わりのないさまざまな異なる文字列を生成する能力は、付随してあなたのものを生成することを可能にします。

もちろん、PRNGを使用して単語から単語への遷移の「ドメイングラフ」を調べることにより、この可能性を軽減できます。また、メッセージが出現する可能性が大幅に高まり、圧縮されたメッセージにドメイングラフを追加する必要があります長さ。