エントロピーと圧縮/暗号化データのバイト分布の比較

しばらくの間、自分自身を占める質問があります。

暗号化されたデータを識別するために、エントロピーテストがよく使用されます。分析されたデータのバイトが均一に分散されると、エントロピーが最大になります。エントロピーテストは、暗号化されたデータを識別します。これは、このデータが、エントロピーテストの使用時に暗号化されたものとして分類される圧縮データのように均一な分布を持っているためです。

例：一部のJPGファイルのエントロピーは7,9961532ビット/バイト、一部のTrueCryptコンテナーのエントロピーは7,9998857です。つまり、エントロピーテストでは、暗号化されたデータと圧縮されたデータの違いを検出できません。しかし、最初の写真でわかるように、JPGファイルのバイトは均一に分散されていません（少なくとも、truecrypt-containerからのバイトほど均一ではありません）。

別のテストは、周波数分析です。各バイトの分布が測定され、たとえば、分布を仮説の分布と比較するためにカイ2乗検定が実行されます。その結果、p値が得られます。JPGとTrueCrypt-dataでこのテストを実行すると、結果が異なります。

JPGファイルのp値は0です。これは、統計ビューからの分布が均一でないことを意味します。TrueCryptファイルのp値は0,95です。これは、分布がほぼ完全に均一であることを意味します。

私の質問：エントロピーテストでこのような誤検知が発生する理由を誰かに教えてもらえますか？情報の内容が表現されている単位のスケール（ビット/バイト）ですか？より細かいスケールのため、例えばp値はより良い「単位」ですか？

回答/アイデアをありがとうございました！

JPG-Image ここに画像の説明を入力してください TrueCrypt-Container

— tommynogger
ソース

エントロピーの2つの例を示しますが、「エントロピーテスト」と呼ばれるものを実際に適用することはありません。そのテストとは何か、2つのファイルでどのように機能するかを明示的に教えていただけますか？

— whuber

これで画像を投稿できるようになります。@whuberのコメントに従って、さらに詳細を提供してください。

— カーディナル

エントロピーについては、各数値（0〜255）が現れる確率を計算します。次に、すべてのログ（確率）を合計し、エントロピーを取得します。法医学検査に使用されるencaseなどのソフトウェアは、暗号化されたデータを検出するためにエントロピーを使用します。しかし、ご覧のとおり、エントロピーは多くの誤検知を引き起こします。カイ二乗のような他のアプローチははるかに良い結果をもたらします。ただし、2つのテストは同じ目的で使用され、バイトの統一を検出します。結果はどのように異なることができますか？

— tommynogger 2013

申し訳ありませんが、私の説明は間違っていました...エントロピーの合計（p log p）を計算します。ここで、pはすべての数値の確率です。

— tommynogger 2013

エントロピーを誤って計算している可能性が非常に高いと思います。より多くの詳細といくつかのサンプルコードを与える価値があるかもしれません。確率分布を正しく正規化しました（合計が1になるように）。どうやってもっと詳しくやってるの？2つのイラストは同じyスケールですか？もしそうなら、JPEGエントロピーはもっと低いはずだと思いますが、同じスケールですか？

— thrope

この質問には依然として重要な情報が不足していますが、私はいくつかのインテリジェントな推測を行うことができると思います：

$\mathbb{p} = (p_0, p_1, \ldots, p_{255})$

$H (p) = - \sum_{i = 0}^{255} p_{i} \log_{2} p_{i} .$ $H(\mathbb{p}) = -\sum_{i=0}^{255} p_i \log_2{p_i}.$
$-\log$ $p_i$ $p_i = 2^{-8}$ $i$

$H_{0} = - \sum_{i = 0}^{255} 2^{- 8} \log_{2} (2^{- 8}) = \sum_{i = 0}^{255} 2^{- 8} \times 8 = 8.$ $H_0 = -\sum_{i=0}^{255} 2^{-8} \log_2{(2^{-8})} = \sum_{i=0}^{255} 2^{-8}\times 8 = 8.$
$7.9961532$ $7.9998857$ $H_0 = 8$

$H(\mathbb{p})$ $H_0$ $H(\mathbb{p})$

$H_{0} - H (p) = \sum_{i} \frac{(p_{i} - 2^{- 8})^{2}}{2 \cdot 2^{- 8} \log (2)} + O (p_{i} - 2^{- 8})^{3} .$ $H_0 - H(\mathbb{p}) = \sum_i \frac{(p_i - 2^{-8})^2}{2 \cdot 2^{-8} \log(2)} + O(p_i - 2^{-8})^3.$
$7.9961532$ $0.0038468$ $0.00002099$ $p_i$ $2^{-8}$ $0.5$ $7.9998857$ $p_i$

$1000$ $p_i$ $0.09$ $0.5$ $6$ $15$ $100$ 互いに直接比較できます。）

どちらの場合も、これらは小さな偏差ですが、一方は他方よりも5倍以上小さくなります。質問は、エントロピーがどのように均一性を決定するために使用されたのか、またどれだけのデータが存在するのかを教えてくれないので、推測する必要があります。真の「エントロピー検定」が適用されている場合、他の統計検定と同様に、確率変動を考慮する必要があります。この場合、観測された周波数（エントロピーが計算されたもの）は、偶然により、実際の基本周波数とは異なる傾向があります。これらの変動は、上記の式を介して、実際の基礎となるエントロピーから観測されたエントロピーの変動に変換されます。 十分なデータがあれば、 $8$ $0.09$ $0.5$ $(0.5/0.09)^2$ $33$

$7.996\ldots$ $8$ $7.99988\ldots$ $8$

$256$ $8$

— whuber
ソース

計算されたエントロピーは、上の図を参照しています。JPGファイルのサイズは約5MB、TrueCrypt-Containerのサイズは約100MBです。TrueCrypt-Containerの5MBの部分を取得しても、均等に分散されます-JPGファイルよりもはるかに多くなります。あなたが答えると、私が聞いたことのないエントロピーについて多くの詳細がわかります。これをありがとう！たぶんいくつかの詳細が多すぎます、私は統計にあまり興味がありません...私はしばらくの間統計を「使用する」ことを試みました。質問が1つ残っています。周波数分析では区別できるが、エントロピーでは区別できない理由は何ですか。

— tommynogger 2013

カイ2乗検定は、確率変動の可能性の高い量を考慮します。私の知る限り、あなたのエントロピーの比較はそうではありません。それが違いの原因のようです。また、結果の解釈方法にも注意する必要があります。物事が均等に分散しすぎている可能性があります。それはまた、ランダムな行動に対する証拠と見なすことができます。

— whuber