多項的に知っている情報への情報理論の一般化はありますか？

9

申し訳ありませんが、これは少し「やわらかい」質問です。

情報理論には計算の複雑さの概念はありません。たとえば、SATのインスタンス、またはSATのインスタンスと充足可能性を示すビットが同じ量の情報を伝送します。

「多項式で知っている」という概念を形式化する方法はありますか？

そのようなフレームワークは、たとえば、ランダム変数X相対Y間の多項式KL発散の概念を、Yが与えられた多項式時間でXを計算するために必要なビット数として定義できます。

同様に、確率変数Xのエントロピーは、多項式時間でデコードできる方法でXをエンコードするために必要なビット数として定義できます。

そのような一般化は研究されましたか？一貫性を持たせることはできますか？

cc.complexity-theory it.information-theory polynomial-time

— アーサーB
ソース

1

Cryptography SE crypto.stackexchange.comでこれを尋ねてみましたか？

— ズバンアンブルス2014

2

暗号の人々が答えを持っている可能性はありますが、質問はここで完全に話題になっています。そして、ここで良い答えを得る可能性が高いのではないかと思います。簡単なメモ：同じ質問をCrypto.SEに再投稿しないでください。複数のSEサイトへのクロス投稿は、サイトルールにより禁止されています。

— DW 2014年

9

はい。時間制限されたコルモゴロフの複雑さは、そのような「一般化」の1つです（厳密に言えば、それは一般化ではなく、関連する概念です）。ユニバーサルチューリングマシン修正します。列の-time-境界コルモゴロフ複雑性は、文字列指定された（に対して）、表記（添字しばしばsupressedれる）が最短の文字列として定義され、（「プログラム」） $U$ $t(n)$ $x$ $y$ $U$ $K^t_U(x | y)$ $U$ $p$ $U$ あり、の計算には最大で時間がかかる。これを「条件付き情報」の定義として使用すると、情報理論から通常のすべての概念を同様に定義できます。 $U(p,y)=x$ $U(p,y)$ $t(|x|)$

ただし、この時間制限のある状況では、情報理論の通常の定理のすべてが成り立つとは限りません。たとえば、情報の対称性は通常のコルモゴロフの複雑さ（時間制限なし）を保持することがわかっていますが、時間制限を保持することはわかっていません。たとえば、トロイリーの論文の第6章を参照してください。

これが分布ではなく文字列に当てはまることを懸念している場合は、次の論文を読むことをお勧めします。実際、文字列のコルモゴロフの複雑さと分布のシャノンエントロピーは非常に密接に関連しています。

GrunwaldとVitanyi。シャノン情報とコルモゴロフの複雑さ
ハンマー、ロマシェンコ、シェン、ヴェレシチャギン。シャノンエントロピーとコルモゴロフの複雑さの不等式。

（一方で、2つの間で共有されないことが知られているいくつかのプロパティがあります。Muchnik＆Vereshchagin、Shannon EntropyとKolmogorov Complexityを参照してください。）

— ジョシュア・グロコウ
ソース

私の主な懸念は、時間がチューリングマシンに依存していることです。チューリングマシンは最大で多項式のスピードアップまたはスピードダウンでお互いをエミュレートできるため、log（log（t））によって複雑さをペナルティ化すると、それらは加法定数まで同等になるようです。ただし、Levinの複雑さはlog（t）を使用しているため、理由はわかりません。

— アーサーB

1

t (n)

$t(n)$

\log \log t

$\log \log t$

2

1つの問題は、情報理論で慣れている定理の多くが計算の世界では成立しないことです。したがって、エントロピーの計算アナログを公式化したとしても、結果の理論はもはや情報理論のようには見えないかもしれません。

$f$ $H(f(X)) \le H(X)$ $H(f(X)) \le H(X)$

— DW
ソース

どれだけ回収したりパッチを当てたりできるのか気になります。その場合、fは多項式で可逆であるという制約を追加できますが、その場しのぎのように感じます

— Arthur B

シードから生成された文字列を計算できるので、シードには生成された疑似ランダム文字列よりも多くの情報が含まれていると思います。

— Kaveh 2014年

@Kaveh、もしあなたが情報理論的な意味で話をしているなら：疑似乱数発生器が可逆である場合（多項式時間ではないかもしれませんが、原則として）、その入力と出力は情報理論的に同じ量の情報を持ちます。そうでなければ、疑似ランダム主観が不可逆的であれば、あなたは正しいです。

— DW

0

私は情報理論的計算モデルについては知りませんが、情報理論の計算の複雑さへの明確な応用があります。

$n \log n$

より一般的には、情報理論の結果は、計算の複雑さの下限として機能します。たとえば、通信の複雑さに関するYaoの「情報理論」の結果{1}は、2つのセットが等しいかどうかを判断する際の計算の下限を意味します。通信の複雑さのより洗練されたアプリケーションは、チューリングマシン{2}に時間と空間のトレードオフを提供します。

{1}八尾、Andrew Chi-Chih。「分散コンピューティングに関連するいくつかの複雑な質問（予備レポート）。」コンピューティング理論に関する第11回ACMシンポジウムの議事録。ACM、1979。

{2} Eyal Kushilevitz：コミュニケーションの複雑さ。コンピュータの進歩44：331-360（1997）。

— アリ・トラクテンベルク
ソース