通常、チャネルコーディング結果を証明するためにシャノンエントロピーが使用されます。ソースチャネル分離の結果でも、シャノンエントロピーが使用されます。シャノン(グローバル)とコルモゴロフ(ローカル)の情報の概念間の同等性を考えると、これらの結果にコルモゴロフの複雑さを利用する研究がありますか(少なくともソースチャネル分離結果のソースコーディング部分を置き換えるために)?
通常、チャネルコーディング結果を証明するためにシャノンエントロピーが使用されます。ソースチャネル分離の結果でも、シャノンエントロピーが使用されます。シャノン(グローバル)とコルモゴロフ(ローカル)の情報の概念間の同等性を考えると、これらの結果にコルモゴロフの複雑さを利用する研究がありますか(少なくともソースチャネル分離結果のソースコーディング部分を置き換えるために)?
回答:
チャネル容量については、シャノンのエントロピーをコルモゴロフの複雑さに置き換えることは難しいようです。チャネル容量の定義には、エントロピーに関する言及は含まれていません。シャノンエントロピーを使用すると、チャネル容量の正しい式が得られます(これはシャノンの定理です)。数式をシャノンエントロピーに置き換え、コルモゴロフの複雑さを持つ数式に置き換えた場合、おそらく別の数式になるため、間違った答えになります。
あなたはコルモゴロフ複雑性との文字列を送信したい場合は容量とチャネルを介してCわずかに超える使用してK / Cのチャネルが使用する、これは非常に簡単です。文字列を生成するチューリングマシンの説明を見つけます。次に、エラー修正コードでエンコードして、この説明がノイズの少ないチャネルを介してわずかなエラーの確率で送信できるようにします。
ソースチャネル分離定理の難しい部分は、最初に圧縮してからエンコードするという明白な方法(前の段落で説明)よりも上手くできないことを示しています。コルモゴロフの複雑さとチャネル容量についてこれを証明した人がいるかどうかはわかりませんが、調査するのは妥当な質問です。