タグ付けされた質問 「shannon-entropy」

4
関数のイータ等価性はHaskellのseq操作と互換性がありますか？
補題：我々はそれを持っているETA-同等と仮定すると(\x -> ⊥) = ⊥ :: A -> B。 証明：⊥ = (\x -> ⊥ x)イータ等価、および(\x -> ⊥ x) = (\x -> ⊥)ラムダの下での還元。 Haskell 2010レポートのセクション6.2では、seq2つの式で関数を指定しています。 seq :: a-> b-> b seq⊥b =⊥ seq ab = b、a≠ifの場合 その後、「seqを使用してそれらを区別できるため、notは\ x-> beと同じではありません」と主張します。 私の質問は、それは本当にの定義の結果seqですか？ 暗黙の引数は、seq計算できない場合seq (\x -> ⊥) b = ⊥です。しかし、私はそのようseqなものが計算できないことを証明することができませんでした。私にはそのようなa seqは単調で連続的であるように思われ、それは計算可能という領域にそれを置きます。 seqなどを実装するアルゴリズムは、starting で始まるドメインを列挙することxで、どこを検索しようとすることで機能する場合f x …
3
和のエントロピーについて
2つの独立した離散確率変数XとYの合計のエントロピーの限界を探しています。当然のことながら、H （X + Y ）≤ H （X ）+ H （Y ）（* ）ただし、の和に適用されるN個の独立したベルヌーイ・ランダム変数Z 1、... 、ZはN、これは得られる H （Z 1 +H(X+Y)H(X+Y)H(X+Y)XXXYYYH(X+Y)≤H(X)+H(Y) (∗)H(X+Y)≤H(X)+H(Y) (∗)H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)nnnZ1,…,ZnZ1,…,ZnZ_1, \ldots, Z_nすなわち、結合はして直線的に成長する nは繰り返し適用される場合。ただし、 Z 1 + ⋯ Z nはサイズ nのセットでサポートされるため、エントロピーは最大で log nです。実際には、中心極限定理により、私は推測している H （Z 1 + ⋯ + Z N）≈ （1 / 2 ）ログH(Z1+Z2+⋯+Zn)≤nH(Z1)H(Z1+Z2+⋯+Zn)≤nH(Z1) H(Z_1 …
2
コルモゴロフ複雑度を使用したチャネルコーディング結果
通常、チャネルコーディング結果を証明するためにシャノンエントロピーが使用されます。ソースチャネル分離の結果でも、シャノンエントロピーが使用されます。シャノン（グローバル）とコルモゴロフ（ローカル）の情報の概念間の同等性を考えると、これらの結果にコルモゴロフの複雑さを利用する研究がありますか（少なくともソースチャネル分離結果のソースコーディング部分を置き換えるために）？
1
「経験的エントロピー」という言葉を誰が作ったのですか？
Shannonのエントロピーに関する作業を知っていますが、最近、ストレージ分析の一部として経験的エントロピーがよく使用される簡潔なデータ構造に取り組んでいます。 シャノンは、離散情報ソースによって生成された情報のエントロピーをと定義しました。ここで、p iはイベントiが発生する確率、たとえば特定の文字が生成され、k個のイベントが発生する可能性があります。− ∑ki = 1p私ログp私−∑i=1kpilog⁡pi-\sum_{i=1}^k p_i \log{p_i}p私pip_i私iikkk コメントでMCHにより指摘したように、経験的エントロピーは、これらのイベントの経験分布のエントロピーであり、したがって、によって与えられるここで、niはイベントiの観測された発生数、nは観測されたイベントの総数です。これは、ゼロ次の経験的エントロピーと呼ばれます。シャノンの条件付きエントロピーの概念には、同様の高次の経験的バージョンがあります。− ∑ki = 1ん私んログん私ん−∑i=1kninlog⁡nin-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}ん私nin_{i}私iiんnn シャノンは経験的エントロピーという用語を使用しませんでしたが、彼は確かにこの概念のいくらかの信用に値します。誰がこのアイデアを最初に使用し、誰が（非常に論理的な）名前の経験的エントロピーを最初に使用してそれを説明しましたか？
2
時間をかけてスムーズに情報を漏らす
私は1つのランダム変数ビットを持っていると言う、およびlet nは自然数です。ランダム変数のシーケンスが必要0 = X 0、X 1、… 、X n = X stバツ∈ { 0 、1 }X∈{0,1}X \in \{0,1\}んnn0 = X0、X1、… 、Xん= X0=X0,X1,…,Xn=X0 = X_0, X_1, \ldots, X_n = X H（X | { X 0、… 、Xk} ） = 1 − kんH(X | {X0,…,Xk})=1−knH\left(X~|~\{X_0,\ldots,X_k\}\right) = 1-\frac{k}{n} つまり、各追加提供する1 / Nの情報のXすべてがによって明らかにされるまで、X N = X。このシーケンスに適切な構成はありますか？バツkXkX_k1 / …
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.