タグ付けされた質問 「information-theory」

一般に、あらゆる形のエンロピーは不確実性またはランダム性として定義されます。ノイズが増加するノイズの多い環境では、目的の信号の情報内容が不確実であるため、エントロピーが増加すると考えています。エントロピーとSNRの関係は何ですか？信号対雑音比が増加すると、雑音電力は減少しますが、これは信号の情報量が増加することを意味しません!! 情報内容は同じままかもしれませんが、それはエントロピーが影響を受けないということですか？

13 noise  signal-detection  snr  information-theory 

AWGNチャネルを介した通信の基本的な概念の理解に戸惑っています。離散時間AWGNチャネルの容量は次のとおりです。 C=12log2(1+SN)C=12log2⁡(1+SN)C=\frac{1}{2}\log_2\left(1+\frac{S}{N}\right) そして、それは入力信号がガウス分布を持っているときに達成されます。しかし、入力信号がガウスであることはどういう意味ですか？それは、コードワードの各シンボルの振幅がガウスアンサンブルから取得されなければならないことを意味しますか？特別なコードブック（この場合はガウス）を使用することとM-aryシグナリングで信号を変調することの違いは何ですか（MPSKなど）。

9 digital-communications  gaussian  information-theory 

相互情報量を計算するための生の方程式以外に、物理的にはどういう意味ですか？例：情報理論から、エントロピーは、特定の確率分布を持つアルファベットで使用できる最小の損失のない圧縮スキームであることがわかります。 相互情報に関してはどういう意味ですか？ 背景：ユニグラムの単語の相互情報量を計算して、2冊のうちどちらの本かを調べようとしています。 エッセンシャル私（b o o k ; w o r d）私（book;word） I(book; word)

8 information-theory 

クライアントが250 GBのファイルを送ろうとしました。データを共有するさまざまな方法を試みた後、彼は私にサイズがわずか4 GBの圧縮フォルダーを送った。それは圧縮が強すぎるように思えます-圧縮したときにサイズを20％以上縮小したことはないと思います。 実際に見られる典型的なロスレス圧縮率は何ですか？（あるいは、範囲。） 更新：実際の情報内容を推測することなしに言うことは不可能であることを私は理解しています。クライアントのデータを共有できません。しかし、XMLファイルを見ると、繰り返されるフレーズがたくさんあります。 <thing> <property="1" value="2" /> <property="3" value="4" /> <property="5" value="6" /> <property="7" value="8" /> <property="9" value="10" /> <property="11" value="12" /> <property="13" value="14" /> </thing> これはかなり圧縮できるようです。

8 compression  information-theory 

今日まで、私は1ビットが変数、つまり1（高）または0（低）のいずれかの値を保持できるメモリ内のスペースであることを知っていました。これは、コンピュータプログラミング、マイクロプロセッサ、DATAバスなどを研究して学んだ概念です。 しかし、情報理論のコースを開始した後、ビットがメッセージ内のシンボルの情報内容として表現されていることがわかりました。これは、シンボルの出現確率の逆数の対数（底2）を使用して計算されます。 これら2つの概念は同じですか？一方、1ビットは、0または1を格納できる変数です。一方、1ビットは、発生確率が0.5の2つのシンボルの1つに関連する不確実性です。では、コンピュータプログラミングまたはASCIIコードの1ビットは、ソースの情報コンテンツまたは情報理論の1ビットを意味するのでしょうか。 少し編集します。ここで、このトピックを理解するときに問題が1つあります。英語のアルファベットのデータ転送では、ASCIIコードを使用する場合、基本的に各シンボルを8ビットで表します。それがaの場合は00000000、bの場合は00000001であるとします。したがって、基本的には、各シンボルに8つの量子化レベルを割り当てています。 ただし、情報理論が機能するようになると、各シンボルの確率が考慮されます。「E」は最高の頻度を持ち、「Z」は最低の頻度を持ちます。つまり、平均的な情報コンテンツは3ビットまたは4ビットに下ります。 私の本は、「エントロピーまたは平均情報コンテンツは、歪みのない各サンプルを表現するために必要な最小の平均ビット数です」と言います。この場合、効率的なデータ転送のために、各シンボルに対して最大4つの量子化レベルを作成していますか？なぜなら、平均して4ビットの情報を運ぶからです。もしそうなら、情報理論のビットは、コンピュータプログラミング、データ転送、ASCIIコードなどのビットと同じではありませんか？ あなたはおそらく私がここで明らかにnoobであることを理解します：p

7 information-theory 

私は長い間エントロピーに関して混乱に直面しており、以下のことはあまり専門用語では答えられない場合に義務付けられます。リンクをたどると、さまざまな種類のエントロピーが次の質問を投げかけます エントロピー-システムのエントロピーを最大化することが望まれます。エントロピーを最大化するということは、他のシンボルよりも優れているシンボルがないこと、または次のシンボル/結果がどうなるかわからないことを意味します。ただし、この式では、確率対数の合計の前に負の符号が示されています。したがって、負の値を最大化していることを意味します!! 次に、元の生信号が量子化され、量子化された情報のエントロピーが計算され、元のエントロピーよりも小さいことがわかった場合、情報の損失を意味します。では、次のシンボルの不確実性を最大化することを意味するので、なぜエントロピーを最大化したいのですか？ シャノンのエントロピー、トポロジーエントロピー、ソースエントロピーの違いは何ですか？ 正確には、コルゴモロフの複雑性またはコルゴモロフエントロピーの意味は何ですか。シャノンのエントロピーとどのように関連していますか？ 2つのベクトル間の相互情報はどのような情報を伝えますか？

7 reference-request  information-theory