2
モンテカルロサンプリングによる情報エントロピーの推定
その分布からサンプリングする唯一の実用的な方法がモンテカルロ法である場合、その分布の情報エントロピーを推定できる方法を探しています。 私の問題は、Metropolis–Hastingsサンプリングの導入例として通常使用される標準のイジングモデルと同じです。セット確率分布があります。つまりごとにがあります。の要素はイジング状態のような組み合わせの性質のものであり、それらの数は非常に多いです。つまり、実際には、この分布からコンピューターでサンプリングするときに、同じサンプルを2回取得することはありません。正規化係数がわからないためを直接計算することはできませんが、比率は簡単に計算できます。AAAp(a)p(a)p(a)a∈Aa∈Aa \in Aa∈Aa∈Aa \in Ap(a)p(a)p(a)p(a1)/p(a2)p(a1)/p(a2)p(a_1)/p(a_2) この分布の情報エントロピーを推定したいのですが、 S=−∑a∈Ap(a)lnp(a).S=−∑a∈Ap(a)lnp(a). S = -\sum_{a \in A} p(a) \ln p(a). あるいは、この分布とそれをサブセット制限することで得られる分布とのエントロピーの差を推定したいと思います(もちろん再正規化します)。a∈A1⊂Aa∈A1⊂Aa\in A_1 \subset A