2
エントロピーは何を教えてくれますか？
私はエントロピーについて読んでいて、それが連続的な場合の意味を概念化するのに苦労しています。wikiページには次のように記載されています。 イベントの確率分布は、すべてのイベントの情報量と相まって、この分布によって生成される情報の平均量またはエントロピーを期待値とするランダム変数を形成します。 したがって、連続的な確率分布に関連付けられたエントロピーを計算すると、実際に何がわかりますか？彼らはコインの反転についての例を挙げているので、離散的なケースですが、連続的なケースのような例を介して説明する直感的な方法があれば、それは素晴らしいことです！ 役立つ場合、連続ランダム変数のエントロピーの定義はXXX次のとおりです。 ここで、 P （X ）は、確率分布関数です。H(X)=−∫P(x)logbP(x)dxH(X)=−∫P(x)logbP(x)dxH(X)=-\int P(x)\log_b P(x)dxP(x)P(x)P(x) 以下の場合を検討し、試してみて、これをより具体化するために、そして、によるとウィキペディア、エントロピーがありますX∼Gamma(α,β)X∼Gamma(α,β)X\sim \text{Gamma}(\alpha,\beta) H(X)=E[−ln(P(X))]=E[−αln(β)+ln(Γ(α))+ln(Γ(α))−(α−1)ln(X)+βX]=α−ln(β)+ln(Γ(α))+(1−α)(ddαln(Γ(α)))H(X)=E[−ln(P(X))]=E[−αln(β)+ln(Γ(α))+ln(Γ(α))−(α−1)ln(X)+βX]=α−ln(β)+ln(Γ(α))+(1−α)(ddαln(Γ(α)))\begin{align} H(X)&=\mathbb{E}[-\ln(P(X))]\\ &=\mathbb{E}[-\alpha\ln(\beta)+\ln(\Gamma(\alpha))+\ln(\Gamma(\alpha))-(\alpha-1)\ln(X)+\beta X]\\ &=\alpha-\ln(\beta)+\ln(\Gamma(\alpha))+(1-\alpha)\left(\frac{d}{d\alpha}\ln(\Gamma(\alpha))\right) \end{align} それで、連続分布（ガンマ分布）のエントロピーを計算したので、αとβが与えられた式評価すると、その量は実際に何を教えてくれますか？ H(X)H(X)H(X)αα\alphaββ\beta
32
entropy