エントロピーに関連する問題

私は長い間エントロピーに関して混乱に直面しており、以下のことはあまり専門用語では答えられない場合に義務付けられます。リンクをたどると、さまざまな種類のエントロピーが次の質問を投げかけます

1. エントロピー-システムのエントロピーを最大化することが望まれます。エントロピーを最大化するということは、他のシンボルよりも優れているシンボルがないこと、または次のシンボル/結果がどうなるかわからないことを意味します。ただし、この式では、確率対数の合計の前に負の符号が示されています。したがって、負の値を最大化していることを意味します!! 次に、元の生信号が量子化され、量子化された情報のエントロピーが計算され、元のエントロピーよりも小さいことがわかった場合、情報の損失を意味します。では、次のシンボルの不確実性を最大化することを意味するので、なぜエントロピーを最大化したいのですか？
2. シャノンのエントロピー、トポロジーエントロピー、ソースエントロピーの違いは何ですか？
3. 正確には、コルゴモロフの複雑性またはコルゴモロフエントロピーの意味は何ですか。シャノンのエントロピーとどのように関連していますか？
4. 2つのベクトル間の相互情報はどのような情報を伝えますか？

質問1と4に取り組みます。

1）エントロピー-システムのエントロピーを最大化することが望まれます。エントロピーを最大化するということは、他のシンボルよりも優れているシンボルがないこと、または次のシンボル/結果がどうなるかわからないことを意味します。ただし、この式では、確率対数の合計の前に負の符号が示されています。したがって、これは負の値を最大化することを意味します!!

いいえ、対数自体の値は負なので、負の符号は正の値になります。すべての確率は、0から1までの実数です。1の対数はゼロであり、1未満の対数は負です。0のログは$-\infty$、しかし実際にはこれらのログの期待値を最大化しようとしているため、確率そのものを掛けると、値全体が0に近づきます。 $\infty$。エントロピーは、確率が$1/2$。

それでは、次のシンボルの出現がどの程度かを確認したいのに、次のシンボルの不確実性を最大化することになるので、なぜエントロピーを最大化したいのですか。

いいえ、情報を伝達する上で、次のシンボルがどうなるかを絶対に知りたくありません。私たちが確信している場合、それを受け取ることによってどのような情報が得られますか？無し。情報を受信できるのは、送信機が送信するものについての不確実性を介してのみです。

4）2つのベクトル間の相互情報はどのような情報を伝えますか？

2つのベクトル間に相互情報がある場合、一方について何かを知っていると、もう一方について何かを教えてくれます。数学的には、これは次のようなものです。一方のベクトルについての知識は、もう一方のベクトルの確率に影響を与えます。それらが独立している場合、これは当てはまりません。

相互情報の例は、デジタルトランシーバーです。1つのベクトルは、最初のトランシーバーが送信するビットストリームです。2番目のベクトルは、2番目のトランシーバーが受信する信号です。2つは明らかに関連していますが、ノイズと未知のチャネル条件により、2番目のトランシーバーは最初のトランシーバーが送信したものを確実に知ることができません。それは信号に基づいていくつかの本当に良い推測をすることができますが、確かに知ることはできません。