大きな確率の文字がない場合、ハフマンコードはどれくらい良いですか？

確率分布のためのハフマン符号 $p$ 最小加重平均符号語長を有する接頭コードである $\sum p_i \ell_i$ 、ここで $\ell_i$ の長さであり $i$ 番目codword。ハフマン符号のシンボルあたりの平均長は、 $H(p)$ と間であることがよく知られている定理です $H(p)+1$ 。ここで、 $H(p) = -\sum_i \, p_i \log_2 p_i$ は、確率分布のシャノンエントロピーです。

平均長がシャノンエントロピーをほぼ1超える標準的な悪い例は、ような確率分布 $\{.999, .001\}$ で、エントロピーはほぼ0で、平均コードワード長は1です。これによりギャップがます。エントロピーとほぼコードワード長の間 $1$ 。

しかし、確率分布の最大確率に限界があるとどうなりますか？たとえば、すべての確率が未満であるとします $\frac{1}{2}$ 。この場合に見つけることができる最大のギャップは、エントロピーが1よりわずかに大きく、平均コードワード長が1.5よりわずかに小さいなどの確率分布の場合です。。これはあなたができる最善ですか？この場合、厳密に1未満のギャップの上限を指定できますか？ $\{.499, .499, .002\}$ $0.5$

ここで、すべての確率が非常に小さい場合を考えてみましょう。それぞれが確率を持つ $M$ 文字にわたる確率分布を選択するとします。あなたが選択した場合この場合、最大のギャップが発生した。ここでは、約ギャップがあります。 $1/M$ $M \approx 2^k \ln 2$

\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.

$\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.$ これは、すべての確率が小さい状況でできる最善の方法ですか？

この質問は、このTCS Stackexchange質問に触発されました。

optimization it.information-theory coding-theory

— ピーター・ショー
ソース

回答:

あなたが言及した問題を正確に研究している論文がたくさんあります。シリーズの最初の記事は、Gallagerによる論文、「Variations on a Theme by Huffman」、IEEE-IT、vol。24、1978、pp。668-674。彼は、ハフマン符号の平均符号語長とエントロピー（彼はその量「冗長性」と呼ぶ）との差が厳密未満常にあることを証明場合に、（=確率分布における最大確率）、それ未満である場合、。より良い境界は知られており、Gallagerの仕事を引用した多数の論文で見つけることができます。 $p$ $p\geq 1/2$ $p+0.086$ $p<1/2$

— うご
ソース

Manstettenにより、ハフマン符号の冗長性の厳密な境界が最適な境界が見つかりました。

— ユヴァルフィルマス

判断すると束縛、私はあなたが別の質問をすることを目的と信じて...またはあなたがちょうどあなたが「平均」を取る方法を指定しませんでした。だから私は両方に答えます。両方の質問に対する答えはノーです。 $H(p) \leq \ldots \leq H(p)+1$

もし符号語にわたって均一な分布を用いて、平均符号長を定義した場合、まず、テイク上方いずれかの要素の確率に結合されるように、次に長のコード考慮コードワードは長有する残りの長さはです。このコードで完全にエンコードされた分布の場合、1つの要素の確率の下限もなければ、平均長さはに近づきますが、エントロピーは $2^{-q}$ $q+k$ $2^{q-1}$ $q$ $2^{q+k-1}$ $q+k$ $q+k$ 。 $q+\frac{k}{2}$

ここで、ハフマン符号を使用してをコーディングする場合の平均コードワード長を意味する「平均長」を考えてみましょう。ここで、結合はタイトであり、そして制限でそれを達成する例示的分布は、各要素が確率で起こるものであるのため（最後の要素には残りの確率が割り当てられますが、漸近的には違いはありません）。 $p$ $2^{q\pm 1/2}$ $q \in {\mathbb Z}.$

たとえば、考えますその後、 $q = 7.$

$A + B = 128, A\sqrt{2}+B/\sqrt{2}\leq 128, \max_{A \in {\mathbb Z}} A$ $A = 52, B = 76$ $52$ $2^{-6.5}$ $76$ $2^{-7.5}$

次に、ですが、ハフマンコードはエントロピー損失をます。（ちなみに、エントロピー損失には名前がありますに対してハフマン符号化を行っても、任意の符号化を行っても、Kullback-Liebler発散。これを使用して、数日前に発見しました。WikipediaのChernoff境界で見ることができるように、より厳密な両面Chernoff境界につながります。） $H(X) = (52\cdot 6.5 + 76 \cdot 7.5)/128 = 7.09375$ $(52 \cdot 0.5 - 76 \cdot 0.5)/128 \approx 0.99436$ $Q$ $D(P\Vert Q) = \sum p_i \log \frac{p_i}{q_i} + \sum (1-p_i) \log \frac{1-p_i}{1-q_i}$

— カール
ソース

私はこの2番目の例にやや困惑しています。128個のコードワードがある場合、平均ワード長7（実際、すべてのワード長は7）のコードがあります。これは、エントロピーが7.09375であるというステートメントと矛盾します。この分布のエントロピー（平均ではなく加重平均を取ることで得られる）は6.88ですが、ハフマンコードの平均長は7です。これにより、かなり良く私の例よりもあるように思われ、0.12の周りではなく、1に近い

- \log_{2} p_{i}

$-\log_2 p_i$

— ピーター・ショア

そして確かに、あなたは正しい。確率分布下で予想されるコードワード長について質問するつもりでした。

p

$p$

— ピーターショー

おっと、 vsについて間違って計算しまし。我々はまだたい弱のような、何か、下の行に、より少ないエントリを強制します。これにより、

A

$A$

B

$B$

A \sqrt{2} + B / \sqrt{2}

$A\sqrt{2}+B/\sqrt{2}$

2^{k}

$2^k$

A + 2 B = 2^{k}

$A+2B=2^k$

A = \frac{2 - 1 / \sqrt{2}}{\sqrt{2} - 1} B .

$A = \frac{2-1/\sqrt{2}}{\sqrt{2}-1}B.$

— カール

実際にはますが、この連立方程式には正の解がありません。すべてを整数倍に強制することはできないようです。したがって、および代わりに、ハフマンコードの半分、およびを考慮することができます残りについては、エントリを与えます...

2 A + B

$2A+B$

2

$2$

\sqrt{2}

$\sqrt{2}$

1 / \sqrt{2}

$1/\sqrt{2}$

(1 + x) / 2^{k}

$(1+x)/2^k$

(1 - x) / 2^{k + 1}

$(1-x)/2^{k+1}$

3 * 2^{k}

$3*2^k$

— カール

したがって、これを試してください（最適ではありません-切り捨てまたは切り捨ての決定方法によって異なります）。確率でエントリおよび確率エントリ、エントロピー有する。代わりにそれを変更しの確率でエントリおよび確率エントリ。この分布のエントロピーはあり、6.4023となりますが、ハフマンコードのエントロピーは均一で7.5です。だから、私が間違って計算しない限り（そして、私は頻繁に行う）、これは約のギャップを与えます

64

$64$

1 / 128

$1/128$

128

$128$

1 / 256

$1/256$

7.5

$7.5$

64

$64$

1 / 128 \sqrt{2}

$1/128\sqrt{2}$

128

$128$

1 / 256 (2 - 1 / \sqrt{2})

$1/256(2-1/\sqrt{2})$

1 / (2 \sqrt{2}) * 7.5 + (1 - 1 / (2 \sqrt{(} 2))) * 5.802

$1/(2\sqrt{2})*7.5+(1-1/(2\sqrt(2)))*5.802$

(1 - 2^{- 1.5}) * 7 + 2^{- 1.5} * 8 = 7.3535.

$(1-2^{-1.5})*7+2^{-1.5}*8 = 7.3535.$

0.95

$0.95$ 。

— カール