計算の複雑さと情報の関係

私は、ニューロンのペアまたはグループ間の相互情報を定量化する計算神経科学研究室で働いています。最近、ボスは「神経ダイナミクスの複雑さ」を測定することに焦点を移しました。私のグループの何人かの人々は、その研究を追求する際に、「複雑」を「高いエントロピーを持っている」と同一視しているように見えます。

計算の複雑さ（CSの意味で）と情報理論の意味でのエントロピーとの関係について、誰かが私を案内してくれませんか？

もう少し詳しく説明すると、Lempel-Zivの複雑さのような測定は、有効な複雑さの測定ではないように思えます。のような他の測定方法[Causal State Splitting Reconstruction][1]はあまり知られていませんが、定常的なランダムプロセスを表すために必要な隠された状態がゼロであるため、ランダムプロセスの複雑さがゼロであるという魅力的な特性があります。

情報理論と計算の複雑さの間には、大学院コースに値する十分な関連があります。たとえば、次のようなコースです。http：//www.cs.princeton.edu/courses/archive/fall11/cos597D/

多くの人がコルモゴロフの複雑さやそのリソースに制限のあるバリアントについて言及していますが、あなたが探しているものに近いのは（論理）深さの概念だと思います。深さにはいくつかのバリアントがありますが、それらはすべて、あなたが話しているようなものに到達しようとします。特に、純粋にランダムな文字列も、非常に高度に順序付けられた/繰り返しの文字列も深くありません。

深さの概念の1つは直感的です。短い説明がある場合、文字列は深いですが、その短い説明から文字列を再構築する唯一の方法は、非常に長い時間がかかります。これは深さの概念であり、他のいくつかは[1]で導入および開発されています。他の標準参照は[2]です。それらを見てから、前方参照検索を行います。

[1] L. Antunes、L。Fortnow、D。van Melkebeek、NV Vinodchandran。計算の深さ：概念とアプリケーション。理論。コンプ サイエンス。354（3）：391--404。著者のWebページからも無料で入手できます。

[2] CHベネット。論理的な深さと物理的な複雑さ。R. Herken（編）、Universal Turing Machine：A Half-Century Survey、Oxford University Press、Oxford（1988）、227–-257。

あなたが魅力的に感じるかもしれないものとして最初に頭に浮かぶのは、コルモゴロフの複雑さです。私は確かにそれを魅力的だと思います、そしてあなたがそれを言及しなかったので、それは言及する価値があるかもしれないと思いました。

そうは言っても、この質問に答えるためのより一般的なアプローチは、言語とオートマトンの理論に基づいている可能性があります。確定的有限オートマトンはO（n）文字列プロセッサです。つまり、長さがnの文字列が与えられると、文字列は正確にnステップで処理されます（これの多くは、決定論的有限オートマトンを正確に定義する方法に依存します。ただし、DFAでは、これ以上のステップは必要ありません）。非決定性有限オートマトンは、DFAと同じ言語（文字列のセット）を認識し、DFAに変換できますが、シーケンシャルな決定論的マシンでNFAをシミュレートするには、通常、ツリーのような「検索スペース」を探索する必要があります。劇的に複雑。通常の言語は、計算の意味ではあまり「複雑」ではありません。

同様に、言語のチョムスキー階層の他のレベルを見ることができます-決定論的文脈自由、文脈自由（決定論的プッシュダウンオートマトンでは必ずしも認識できない非決定的文脈自由言語を含む）、文脈依存言語、再帰的および再帰的列挙可能な言語、および決定不可能な言語。

オートマトンが異なると、主に外部ストレージが異なります。つまり、オートマトンが特定のタイプの言語を正しく処理するために必要な外部ストレージ。有限オートマトンには外部ストレージがありません。PDAにはスタックがあり、チューリングマシンにはテープがあります。したがって、特定のプログラミング問題（言語に対応する）の複雑さを、それを認識するために必要なストレージの量または種類に関連すると解釈することができます。言語のすべての文字列を認識するためにストレージが必要ないか、固定された有限の容量がある場合、それは通常の言語です。必要なのがスタックだけの場合は、文脈自由言語があります。等。

一般に、チョムスキー階層の上位にある言語（したがって、複雑度が高い言語）も、情報理論的な意味で高いエントロピーを持つ傾向があっても、私は驚かないでしょう。そうは言っても、おそらくこのアイデアの反例をたくさん見つけることができますし、それにメリットがあるかどうかはまったくわかりません。

また、これは「理論的なcs」（cstheory）StackExchangeでよりよく尋ねられるかもしれません。

計算の複雑さは必要なリソースに対処します：特定のタイプの問題、特定のサイズの問題を解決するために必要なリソース（通常、時間、スペース、またはその両方、および特定のタイプのコンピューティングデバイス）は何ですか。次に、問題は複雑な「クラス」にグループ化されます。

これらのいくつかは、かなり一般的で抽象的なものです。原則としても、問題はまったく解決できますか？このタイプの機械が必要ですか、それともそれですか？これらのアイデアの紹介は、まだ大学院レベルのコンピュータサイエンストピックであり、紹介資料は通常、チョムスキー階層を参照しています。数学言語仕様。

これらのいくつかは、より低いレベルでは、毎日の使用でより実用的です。この問題は、問題のサイズの2乗、または立方体、またはその他の関数としてスケーリングされますか？興味深いことに、特定の問題のエントロピーの引数が、いくつかの計算問題のいくつかの下限を決定するのに役立つことがわかりました。私の頭に浮かぶのは（教科書をチェックせずに繰り返すことはできなかったかもしれませんが）、ソート中に必要な最低限の比較のためのエントロピーベースの引数です。エントロピーとの関連は、情報理論によるものです。

したがって、このアイデアにはいくつかのメリットがあると思います。