コルモゴロフ複雑度を使用したチャネルコーディング結果


12

通常、チャネルコーディング結果を証明するためにシャノンエントロピーが使用されます。ソースチャネル分離の結果でも、シャノンエントロピーが使用されます。シャノン(グローバル)とコルモゴロフ(ローカル)の情報の概念間の同等性を考えると、これらの結果にコルモゴロフの複雑さを利用する研究がありますか(少なくともソースチャネル分離結果のソースコーディング部分を置き換えるために)?


Li&Vitanyiの本の第3版をご覧になりましたか?誤解しない限り、本の8.章は最新版に追加され、情報理論に関する章が含まれています。それは、コルモゴロフの複雑さの意味で分析されたシャノンエントロピー、相互情報、レート歪みなどを特徴としています。
ジュホ

こんにちは、本当です。しかし、シャノンのノイズの多いコーディング定理への適用はありません!

回答:


8

チャネル容量については、シャノンのエントロピーをコルモゴロフの複雑さに置き換えることは難しいようです。チャネル容量の定義には、エントロピーに関する言及は含まれていません。シャノンエントロピーを使用すると、チャネル容量の正しい式が得られます(これはシャノンの定理です)。数式をシャノンエントロピーに置き換え、コルモゴロフの複雑さを持つ数式に置き換えた場合、おそらく別の数式になるため、間違った答えになります。

あなたはコルモゴロフ複雑性との文字列を送信したい場合は容量とチャネルを介してCわずかに超える使用してK / Cのチャネルが使用する、これは非常に簡単です。文字列を生成するチューリングマシンの説明を見つけます。次に、エラー修正コードでエンコードして、この説明がノイズの少ないチャネルを介してわずかなエラーの確率で送信できるようにします。KCK/C

ソースチャネル分離定理の難しい部分は、最初に圧縮してからエンコードするという明白な方法(前の段落で説明)よりも上手くできないことを示しています。コルモゴロフの複雑さとチャネル容量についてこれを証明した人がいるかどうかはわかりませんが、調査するのは妥当な質問です。


私は微妙な何かを見逃していますか、それはコルモゴロフの複雑さの定義からですか?すなわち、より漸近的に少ないと、文字列を送信するための任意のスキーム比べてサイズのTMに漸近的に小さくなって一定のオーバーヘッドで、とすることができるビット、K(すなわち、デコーダプラスメッセージ)元の文字列を再現?KK
-usul

1
C1

Ωログnnログログnrrログr

1

シャノンのエントロピーとコルモゴロフの複雑さにローカル/グローバル修飾子を使用するとき、何について話しているのかわかりません。

間違っている場合は修正してください。

シャノンのエントロピーは計算可能です。コルモゴロフの複雑さはそうではありません。したがって、彼らは同じ問題を説明していません。

シャノンのエントロピーは、コルモグロフの複雑さの上限として見ることができます。


シャノンエントロピーはどのように上限ですか?どちらも同じであることが証明されていると思います。
T ....
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.