タグ付けされた質問 「it.information-theory」

情報とコーディング理論、そしておそらくコミュニケーションの分野でのSGTの応用例を知りたいと思いました。頭に浮かぶのは、エキスパンダーコードに関する作業です。 Michael SipserおよびDaniel Spielman、「Expander Codes」、IEEE Transactions on Information Theory、Vol 42、No 6、pp。1710-1722。1996 他の例？

9 it.information-theory  coding-theory  spectral-graph-theory 

私は情報理論の大学院レベルのコースを受講しており、このテーマにはどれほど多くの凸最適化があるかに絶えず悩まされています。しかし、証明は緩和理論、双対性などの完全な機構を使用することから遠ざかるように見えます。これを教えるために凸最適化の完全な学期を必要としないので、これは理解できます。しかし、最適化にかなり精通している誰かとして、私はこれらのリンクがさらに探求されないとき、私は多くの優雅さと直感を逃しているように感じます。凸分析も利用した方がずっと短い証明にしばしば気づきます。 この観点から情報理論をさらにカバーする本はありますか？主に、Stefan Moser、Y。Polyanskiy、Y。Wuの講義ノートと、El Gamalによるネットワーク情報理論を使用しています。

9 reference-request  it.information-theory  convex-optimization 

サイズのバイナリ配列が与えられます。nnn どのアルゴリズムも次のことを実行できないことを示したいと思います（または驚いて、そのようなアルゴリズムが結局存在していることを知ってください）： 1）無制限の時間を使用して、ただしビットのみを使用して、入力配列を前処理します。O(n)O(n)O(n) 2）クエリに一定の時間で応答します。クエリは、配列のインデックスとインデックス間のセットビット数を要求します。x y(x,y)(x,y)(x,y)xxxyyy クエリごとの一定時間は、設定されたビット数を計算するのに十分な情報をアルゴリズムが読み取れないようにする必要があります。 そのようなアルゴリズムが存在しないことをどのように証明できますか？ より一般的な質問は、 アルゴリズムが空間の使用を許可されている場合、クエリ時間の下限はどのようにして導出できますか？f(n)f(n)f(n) 明らかに、スペースがある場合、すべての部分和を格納してクエリをに格納できが、が小さい場合はどうなりますか？O （1 ）ff=Ω(nlogn)f=Ω(nlog⁡n)f=\Omega(n\log n)O(1)O(1)O(1)fff メモリワードのサイズがあり、インデックスを一定の時間で読み取ることができると想定する場合があり。xは、YΘ(logn)Θ(log⁡n)\Theta(\log n)x,yx,yx,y

8 ds.algorithms  lower-bounds  it.information-theory 

私は1つのランダム変数ビットを持っていると言う、およびlet nは自然数です。ランダム変数のシーケンスが必要0 = X 0、X 1、… 、X n = X stバツ∈ { 0 、1 }X∈{0,1}X \in \{0,1\}んnn0 = X0、X1、… 、Xん= X0=X0,X1,…,Xn=X0 = X_0, X_1, \ldots, X_n = X H（X | { X 0、… 、Xk} ） = 1 − kんH(X | {X0,…,Xk})=1−knH\left(X~|~\{X_0,\ldots,X_k\}\right) = 1-\frac{k}{n} つまり、各追加提供する1 / Nの情報のXすべてがによって明らかにされるまで、X N = X。このシーケンスに適切な構成はありますか？バツkXkX_k1 / …

8 it.information-theory  shannon-entropy 

数論におけるKolmogorov Complexityの適用と証明関連分野への適用は何ですか？（Li＆Vitanyiによるモノグラフには、数論に関連するアプリケーションはあまりありません。） 私が出会った素晴らしい証拠の1つは、コルモゴロフ複雑度の定義と圧縮係数を使用して、無限の素数が存在することの証明です。 また、暗号化におけるコルモゴロフ複雑性の重要性は何ですか？

8 reference-request  big-list  it.information-theory  kolmogorov-complexity