ファイルのエントロピーを実際に測定するにはどうすればよいですか？

私のファイルに含まれる多くの非冗長（実際の）情報を測定しようとしています。これをエントロピーの量と呼ぶ人もいます。

もちろん標準のp（x）log {p（x）}はありますが、シャノンはチャネルを介して送信するという観点からのみ考慮していたと思います。したがって、式にはブロックサイズが必要です（たとえば、ビット単位で8）。大きなファイルの場合、この計算はほとんど役に立ちません。シンボル間の短距離から長距離への相関は無視されます。

二分木とZiv-Lempelメソッドがありますが、これらは本質的に高度に学術的であるように見えます。

圧縮率もエントロピーの尺度と見なされますが、圧縮の程度に下限はないようです。私のファイルhiss.wavの場合、

• 元のhiss.wav = 5.2 MB
• シャノン公式によるエントロピー= 4.6 MB
• hiss.zip = 4.6 MB
• hiss.7z = 4.2 MB
• hiss.wav.fp8 = 3.3 MB

hiss.wav内に存在するエントロピーの量を測定する合理的に実行可能ないくつかの方法はありますか？

エントロピーは確率変数の特徴です。与えられたファイルは定数なので、エントロピーはゼロです。エントロピーは、チャネルがない多くの状況で意味があり、特定のソースから生成されたWAVファイルなどのランダムなアンサンブルに適用できます。この場合、はWAVファイル全体です。$x$

$N$$N$$H$$N$$HN + o(N)$gzip

LempelおよびZivのこの結果により、Lempel–Zivアルゴリズムを使用して長いサンプルのシーケンスを圧縮することにより、ソースのエントロピーを概算できます。これは特定のサンプルのエントロピーを推定するものではありません。これは明確に定義された概念（定数シーケンスにはゼロのエントロピーがあります）ではなく、それを生成するソースのエントロピーを推定します。

関連する概念は、アルゴリズムエントロピーであり、コルモゴロフ複雑度とも呼ばれます。これは、ファイルを生成する最短のプログラムの長さです。この量は、個々のファイルには意味があります。ランダムソースによって生成されたファイルの場合、Lempel–Zivの定理は、ファイルのアルゴリズムエントロピーがシャノンエントロピーによって高い確率で制限されることを示しています。残念ながら、アルゴリズムエントロピーは計算できません。そのため、これは理論上の概念です。

絵を完成させるために、出典のエントロピーを推定する別のアプローチについて、印刷された英語の予測とエントロピーに関するシャノンの論文を読むことをお勧めします。