タグ付けされた質問 「information-theory」

さまざまなソースの情報理論、エントロピー、情報コンテンツに関する質問

1
絞り込みタイプの推測
職場では、動的言語に関する型情報を推論する必要があります。次のように、ステートメントのシーケンスをネストされたlet式に書き換えます。 return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in Z if x then T else F; Z => if x then { T; Z } else { F; Z } 一般的なタイプ情報から始めて、より具体的なタイプを推測しようとしているので、自然な選択は絞り込みタイプです。たとえば、条件演算子は、trueブランチとfalseブランチの型の和集合を返します。単純なケースでは、非常にうまく機能します。 ただし、次のタイプを推測しようとしたときに、思わぬ障害に遭遇しました。 function …
11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 
2
算術コーディングへのハフマンコーディングの一般化はありますか？
ハフマン符号化、算術符号化、および範囲符号化の関係を理解し​​ようとするとき、ハフマン符号化の欠点が分数ビットパッキングの問題に関連していると考え始めました。 つまり、シンボルに240の可能な値があり、これをビットにエンコードする必要がある場合、8は256の可能な値を表すことができるため、「フル」8は必要ないとしても、シンボルごとに8ビットでスタックすることになります。シンボルごと。この問題の解決策は、「フラクショナルビットパッキング」と呼ばれるもので、乗算を使用して2のべき乗ではない「ビットシフト」が可能です。2のべき乗の乗算がシフトするのx * 2 == x << 1と同じようにx * 4 == x << 2、2のべき乗すべてに対して同様に続きます。そのため、代わりに乗算することにより、2のべき乗でない値で「シフト」し、小数ビットサイズのシンボルにパックできます。 。 この問題はハフマンコーディングと同様です。結局、長さが小数ビットサイズでなければならないコードが作成されるため、このパッキング効率は低くなります。ただし、フラシトンビットパッキングのソリューションは、固定サイズのシンボルを想定しているため、単に使用することはできません。 問題は、算術コーディングに似たものを達成するために、フラクショナルビットパッキングと同様のアイデアでハフマンコーディングを改善するための論文や解決策はありますか？（または反対の結果）。
1
エラー修正率は誤解を招く
コーディング理論では、「コードがどれほど優れているか」とは、コードが処理できる最大ノイズレベル、つまりより適切に修正できるチャネルエラーの数を意味します。 より良いコードを取得するために、コードは（2進数ではなく）大きなアルファベットを使用して設計されています。そして、このコードは、誤りの多い「シンボル」を大量に処理できる場合に適しています。 なぜこれは浮気を考慮しないのですか？つまり、各シンボルをバイナリ文字列に「変換」したときに何が起きるかだけを気にすべきではないでしょうか。「ビットエラーの発生率」は「シンボルエラー」の発生率とは異なります。たとえば、ビットエラーのレートは1/2を超えることはできませんが（これを正しく理解している場合）、十分に大きなアルファベットを使用すると、シンボルエラーは最大ます。これは、ビットを変更するのではなく「シンボル」のみを変更するようにチャネルを人工的に制限しているためですか、それともコードが実際に優れているためですか？1 − ϵ1−ϵ1-\epsilon
2
長さ6、サイズ32、距離2のバイナリコードはありますか？
問題は、、st、存在を証明または反証することです ; ; 。（はハミング距離を表します）CCC| c | =6、∀C∈C|c|=6、∀c∈C|c| = 6,\forall c\in C| C| =32|C|=32|C| = 32d（c私、cj）≥ 2 、1 ≤ I &lt; J ≤ 32d（c私、cj）≥2、1≤私&lt;j≤32d(c_i,c_j)\geq2,1\leq i<j\leq32ddd 私は満足のいくコードを作成しようとしました。私が得ることができる最高のようにすることですの連結サイズ16 32であり、今私ドン、上部のサイズの上限理論であることを起こります問題を解決するために次に何をすべきかわからない。C= C』× C』C=C』×C』C = C'\times C'C』= { 000 、011 、110 、101 }C』={000、011、110、101}C' = \{000,011,110,101\}
1
無限大または最小エントロピーでのレニーエントロピー
nがRényiエントロピーの無限大に行くときの制限について言及している論文を読んでいます。これは、として定義され。次に、としての制限はと述べています。ではなく、最大値を使用する別の記事を見ました。すべてのが等しい（均一な分布）場合、これはかなり簡単にうまくいくと思います。これを均一分布以外で証明する方法はわかりません。誰でもそれがどのように行われるかを私に示すことができますか？Hn(X)=11−nlog2(∑i=1Npni)Hn(X)=11−nlog2⁡(∑i=1Npin){{H}_{n}}\left( X \right)=\dfrac{1}{1-n} \log_2 \left( \sum\limits_{i=1}^{N}{p_{i}^{n}} \right)n→∞n→∞n\to \infty −log2(p1)−log2⁡(p1)-\log_2 \left( p_1 \right)pi′spi′s{{p}_{i}}'sp1p1{{p}_{1}}pi′spi′s{{p}_{i}}'s
1
ビザンチン将軍問題の不可能性
ウィキ：https : //en.wikipedia.org/wiki/Byzantine_fault_tolerance 論文「障害の存在下でのリーチング合意」では、M。Pease et al。問題を解決するための（ある種の）プロトコルがないことを証明しました。ここで、は将軍の数を表し、は裏切り者の数を表します。彼らの証明の鍵は、この場合の不可能性です。しかし、彼らが使用した方法は、情報理論的な証明のようには見えません。したがって、彼らの結果は「任意のプロトコルの不可能性」ではないようです。n≤3mn≤3mn \leq 3mnnnmmmn=3,m=1n=3,m=1n=3,m=1 私の質問：場合の情報理論ベースの証明はありますか？より正式には、「ビザンチンの一般的な問題を解決するプロトコルは存在しない」という命題の証明または反例はありますか？n=3,m=1n=3,m=1n=3,m=1n=3,m=1n=3,m=1n=3,m=1 注：L. Lamportらによって提案された典型的なプロトコル（任意の）。裏切り者が無限の計算リソースを持っていると仮定すると、情報理論の意味で完全に信頼できるものではない署名メカニズムが必要になるため、これは適切な反例ではありません。SM(m)SM(m)\mathrm{SM}(m)n,mn,mn,m
4
「実際に発生するビット文字列はランダムにはほど遠い」ので、圧縮関数は実用的です。
これは、このスレッドでのAndrej Bauerの回答に関係しているので、コメントしました。しかし、私はそれは質問の価値があると信じています。 Andrejは、長さが3以下のすべてのビット文字列のセットが与えられた場合、ロスレス圧縮関数はそれらの一部のみを「圧縮」できると説明しています。その他、たとえば「01」は、実際には「0001」などの長さ4の文字列に圧縮する必要があります。圧縮率は、単に入力セット全体の平均圧縮です。 このため、可逆圧縮は実用的ではないように見えますが、重要な引用は次のとおりです。 実際に発生するビット文字列はランダムではなく、多くの規則性を示します。 たとえば、マルチメディアファイルがランダムなビット文字列以外のもので表現されているとは信じがたいです。アルゴリズムが実際に役立つようにするために圧縮関数が活用するパターンは本当にありますか？
1
フィンガープリントを証明する
しましょう a≠ba≠ba \neq b間隔からの2つの整数してみましょうランダムプライム可能ことを証明し [1,2n].[1,2n].[1, 2^n].ppp1≤p≤nc.1≤p≤nc. 1 \le p \le n^c.Prp∈Primes{a≡b(modp)}≤cln(n)/(nc−1).Prp∈Primes{a≡b(modp)}≤cln⁡(n)/(nc−1).\text{Pr}_{p \in \mathsf{Primes}}\{a \equiv b \pmod{p}\} \le c \ln(n)/(n^{c-1}). ヒント：素数定理の結果として、正確にn / \ ln（n）\ pm o（n / \ ln（n））\ {1、\ ldots、n \}n/ln(n)±o(n/ln(n))n/ln⁡(n)±o(n/ln⁡(n))n/ \ln(n) \pm o(n/\ln(n))からの多くの数は素数です。{1,…,n}{1,…,n}\{ 1, \ldots, n \} 結論：nnnビットをO(log(n))O(log⁡(n))O(\log(n))ビットに圧縮して、非常に小さな偽陽性率を得ることができます。 私の質問は、Prp∈Primes{a≡b(modp)}≤cln(n)/(nc−1)Prp∈Primes{a≡b(modp)}≤cln⁡(n)/(nc−1)\text{Pr}_{p \in \mathsf{Primes}}\{a \equiv b \pmod{p}\} \le c \ln(n)/(n^{c-1})？
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.