「実際に発生するビット文字列はランダムにはほど遠い」ので、圧縮関数は実用的です。

これは、このスレッドでのAndrej Bauerの回答に関係しているので、コメントしました。しかし、私はそれは質問の価値があると信じています。

Andrejは、長さが3以下のすべてのビット文字列のセットが与えられた場合、ロスレス圧縮関数はそれらの一部のみを「圧縮」できると説明しています。その他、たとえば「01」は、実際には「0001」などの長さ4の文字列に圧縮する必要があります。圧縮率は、単に入力セット全体の平均圧縮です。

このため、可逆圧縮は実用的ではないように見えますが、重要な引用は次のとおりです。

実際に発生するビット文字列はランダムではなく、多くの規則性を示します。

たとえば、マルチメディアファイルがランダムなビット文字列以外のもので表現されているとは信じがたいです。アルゴリズムが実際に役立つようにするために圧縮関数が活用するパターンは本当にありますか？

まず第一に、あなたの言うとおりです。マルチメディアファイルはランダムファイルとして（多かれ少なかれ）表現されます。その理由は、それらのファイルはすでに圧縮されている（損失がある）ためです。たとえば、mp3は圧縮アルゴリズムにすぎません。
結果として、さらに圧縮しても目立った圧縮は行われません（実際、既に圧縮された（マルチメディア）ファイルの可逆圧縮は成功への道ではありませんでした）。

あなたは他の点でも正しいです：可逆圧縮は平均して圧縮することはできません。たとえば、考えられるデータセットは異なる要素で構成されています。要素とセットを常に区別できるようにするには、ファイルごとにいくつのビットが必要ですか？右、。合計ですべてのファイルは、ビット以上で表されます。これらのファイルの一部をビット未満で、一部のファイルはビットを超えて表されます。言うことはこれで全部です。 $2^n$$n$$n \cdot 2^n$$n$$n$

簡単に言うと、テキストファイルはランダムとはほど遠い（私の回答の文字の分布を考慮し、eの数とzの数を比較するだけです！）ランダムデータ（例：既に圧縮されたデータまたは暗号化されたデータ）は意味がありません。

マルチメディアデータはランダムからはほど遠いため、圧縮率が非常に高くなります。たとえば、1920x1080ピクセルの解像度、24ビットカラー、24フレーム/秒の1秒のビデオは、約150MBの非圧縮データです。マルチメディアファイルは既に圧縮されているため、これ以上圧縮することは困難です。

ただし、圧縮されていないマルチメディアデータであっても、0と1のストリームと見なすと、かなりランダムに見えます。（とは言っても、GIFはLZWを使用して圧縮され、本質的にビットのストリームとして扱います。それはまともな動作をします。）意味を理解しているマルチメディアデータを見ると、そこには多くの構造があります。

• 画像には多くの色のグラデーションと同様の色のブロックがあります。JPEGはこのようなものを多く使用します。
• ビデオでは、ほぼすべてのフレームが直前のフレームと非常によく似ており、一部が少し移動しています。MPEGはこれを広範囲に使用します。
• 私たちが興味を持っているサウンドの多くは、ランダムな周波数ではなく、共振しているオブジェクトからの波形です。

もちろん、損失の多いJPEGとMPEGについて説明しました。しかし、原則として、これらのアイデアを使用して、この非ランダムデータの良好な可逆圧縮率を生成できると思います。圧縮にかかる時間はおそらく非常に長いので、だれもそれを試みようとは思いません。

はい、ロスレス圧縮は多くのファイルがランダムではないという事実を利用しています。はい、ほとんどのマルチメディアファイルはランダムではありません。

FAX画像はこの効果の良い例です。最も単純な形式では、ファックスイメージは、あるドキュメントの1ページをスキャンして得られる2D白黒イメージです。この画像をビットのシーケンス、ピクセルごとに1ビット（0 =白、1 =黒）として表すと、結果のバイナリデータがまったくランダムではないことがわかります。たとえば、次のようなランダムでないパターンを見つけます。

• 通常、FAX画像には、黒のピクセルよりも白のピクセルが多く含まれています。

• また、各ピクセルは、左のピクセルと同じ色である可能性が、異なる色である可能性よりも高くなります。

• より洗練されたパターンの場合：ピクセルを水平に左から右にスキャンし、同じ色の連続するピクセルの各「ラン」の長さを数えることを想像してください。次に、長いランは短いランよりも一般的であり、白いピクセルの長いランは黒いピクセルの長いランより一般的です。

FAX圧縮アルゴリズムは、これらのランダムでない側面を利用するように設計されています。初期のFAX圧縮アルゴリズムは、スキャンされた画像のこれらの非ランダムプロパティを非常に直接活用する単純な可逆圧縮方式であるため、特に良い例です。

たとえば、FAX画像を圧縮するための初期のスキームでは、ランレングスエンコーディングとハフマンエンコーディングを組み合わせて使用していました。ランレングスエンコーディングは、同じ色のピクセルの各ランを、ランの長さをカウントする単一の整数に置き換えます。たとえば、00000110001は「5 2 3 1」になります。ランレングスエンコーディングは、ピクセルが同じ色のランに入る傾向があるという事実を利用しています。ハフマンエンコーディングは、一部のランレングスが他よりも一般的であるという事実をさらに利用しています。これらの初期のスキームの1つがどのように機能したかについての詳細な例については、ここを参照してください。このスキームはシンプルで洗練されており、上記のパターンを直接利用します。

これらのスキームは、平均して、ランダムファイルに対して圧縮を提供しません。ただし、スキャンされたFAXイメージはランダムではないため、これらの圧縮スキームにより大幅な節約が可能になります。

同様のコメントが他のマルチメディアファイルにも適用されます。他の種類のマルチメディアファイルに存在するパターンはより複雑になる可能性がありますが、データをランダムでないものにする多くのパターンが存在します。

ランダムなオーディオファイルは一種のノイズを構成します。ほとんどの人は、ノイズではなく、音楽または音声付きのオーディオファイルを保存します。