定性的にクロスエントロピーとは

この質問は、その式の観点からクロスエントロピーの定量的な定義を提供します。

より概念的な定義を探しています、ウィキペディアは言います：

情報理論では、「真の」分布pではなく、特定の確率分布qに基づいてコーディングスキームが使用される場合、 2つの確率分布間のクロスエントロピーは、可能性のセットからイベントを識別するために必要な平均ビット数を測定します。

これを理解するのに苦労している部分を強調しました。Entropyの個別の（既存の）理解を必要としない素晴らしい定義が欲しい。

entropy information-theory

あなたは、同時にエントロピー自体を定義するクロスエントロピーの定義を求めています。そして直感的にそう...もしエントロピー自体の概念を理解するのに苦労しているなら、最初に基本的な概念を理解し、次にその拡張のいずれかを理解することは良い考えでしょう。

— アレコスパパドプロス14年

個人的には、エントロピーの基本的な理解がありました（ただし、エントロピーを適用してからほぼ12か月が経過しています）。しかし、エントロピーの定量的表現は、1つの短いパラグラフに収まる必要があり、クロスエントロピーにはもう1つしか必要ありません。ですから、良い答えには両方を含めることができると思うので、読者はそれを理解するために他の場所を参照する必要はありません。

— リンドンホワイト14年

：関連する記事を参照してください stats.stackexchange.com/questions/66186/... と stats.stackexchange.com/questions/188903/...

— HalvorsenのはKjetil bは

確率発生するイベントをエンコードするには、少なくともビットが必要です（「シャノンのエントロピーにおける対数の役割は？」に関する私の答えを参照してください）。 $p$ $\log_2(1/p)$

したがって、最適なエンコードでは、エンコードされたメッセージの平均長はつまり、元の確率分布のシャノンエントロピー。

\sum_{私} p_{私} {ログ}_{2} （ \frac{1}{p_{私}} ） 、

$\sum_i p_i \log_2(\tfrac{1}{p_i}),$

ただし、確率分布に対して、異なる確率分布に最適なエンコードを使用する場合、エンコードされたメッセージの平均長は $P$ $Q$ であり、交差エントロピーよりも大きい、

\sum_{私} p_{私} code_length（ 私 ） = \sum_{私} p_{私} {ログ}_{2} （ \frac{1}{q_{私}} ） 、

$\sum_i p_i \text{code_length($i$)} = \sum_i p_i \log_2(\tfrac{1}{q_i}),$

。

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}})

$\sum_i p_i \log_2(\tfrac{1}{p_i})$

例として、4文字のアルファベット（A、B、C、D）を考えますが、AとBは同じ頻度で、CとDはまったく表示されません。したがって、確率は。 $P=(\tfrac{1}{2}, \tfrac{1}{2}, 0, 0)$

その後、最適にエンコードする場合は、Aを0、Bを1としてエンコードするため、1文字につき1ビットのエンコードされたメッセージが取得されます。（そして、それはまさに確率分布のシャノンエントロピーです。）

しかし、同じ確率を持っているが、すべての文字が等しく $P$ $Q=(\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4})$

— ピョートル・ミグダル
ソース

いい説明、ありがとう。ただし、ウィキペディアの定義はsum_i [p_i * log（q_i）]です。1 / q_iを使用すると考えられる状態の数が得られるため、log_2はそれを単一のシンボルのエンコードに必要なビット数に変換しますが、ウィキペディアのページでは微妙に異なるものについて説明しています。

— redcalx

1 / q_{i}

$1/q_i$

\log (1 / q_{i}) = - \log (q_{i})

$\log(1/q_i)=-\log(q_i)$