ときの尤度の計算

私はこの事後分布を計算しようとしています：

問題は、$\text{Bernoulli}(p_i,y_i)$確率の束の積である分子が小さすぎることです。（私の$n$は大きく、約1500です）。

したがって、すべての事後値はすべて$\theta$0と計算されます（私はRで計算を行っています）。

明確にするために、各$y_i$は独自の$p_i$、これらのはn yのn要素の$p_i$ベクトルを作成します。各θには、p iの独自のn要素ベクトルがあります。$n$$n$ $y$$\theta$$n$$p_i$ます。

編集：再現例の追加（分子用）

p <- sample(seq(0,1,by=0.01), 1500, replace=T)
y <- sample(c(0,1), 1500, replace=T)
dbern(y, p) # 1500-element vector, each element is < 1
prod(dbern(y, p)) # produce 0
exp(sum(log(dbern(y, p)))) # produce 0 since the sum is very negative

これは、あらゆるモデルの尤度の計算に共通する問題です。一般的に行われているのは、ログで作業することと、値をより妥当な範囲にする共通のスケーリング係数を使用することです。

この場合、私はお勧めします：

ステップ1：かなり"典型的な"ピック、θ 0を。分割式のための分子による一般的な用語の分子と分母の両方のためにθ = θ $\theta$$\theta_0$$\theta = \theta_0$はるかに少ない可能性がアンダーフローになります何かを得るためには、。

ステップ2：対数スケールで作業します。これは、分子が差の合計のexpであることを意味しますログの合計のexpであり、分母がログのます。

注意：pのいずれかが0または1の場合、それらを個別に引き出します、それらの用語のログを取らないでください。そのまま評価するのは簡単です！

[より一般的な用語では、このスケールとログのスケールでの作業は、一連の対数尤度を取り、これを行うと見なすことができます：log （∑ i e l i）= c + log （∑ i e l i − c）。cの明らかな選択は、最大の項を0にすることです。これにより、 log （∑ i e l i）= max i（l i）+ log $l_i$$\log(\sum_i e^{l_i})= c+\log(\sum_i e^{l_i−c})$$c$。分子と分母がある場合、両方に同じ cを使用できますが、キャンセルされます。上記では、これは対数尤度が最も高いを取ることに対応します。]$\log(\sum_i e^{l_i})= \max_i(l_i)+\log(\sum_i e^{l_i−\max_i(l_i)})$$c$$\theta_0$

分子の通常の項はサイズが中程度になる傾向があるため、多くの状況で、分子と分母はどちらも比較的妥当です。

分母にサイズの範囲がある場合は、大きいサイズを追加する前に、小さいサイズを追加します。

少数の用語だけが大きく支配している場合は、それらを比較的正確に計算することに注意を向けるべきです。

10進数の積をとるのではなく、対数と合計を使用する特性を利用してみてください。合計に続いて、対数を使用して、より自然な形に戻します。このようなことがうまくいくと思います

$\frac{exp(\sum_{i}^{n}(y_{i}*log(p_{i})+(1-y_{i})*log(1-p_{i})))}{\sum_{g}exp(\sum_{i}^{n}y_{i}*log(p_{i})+(1-y_{i})*log(1-p_{i}))}$