なぜベイジアン後部はKL発散の最小化子に集中するのですか？

ベイズ事後考えてみましょ$\theta\mid X$。漸近的に、その最大値はMLE推定値で発生θだけ尤度最大化し、argminのθを$\hat \theta$$\operatorname{argmin}_\theta\, f_\theta(X)$。

これらのすべての概念、つまり可能性を最大化するベイズの事前分布は、超原理的であり、まったく恣意的ではありません。ログが見えません。

しかし、MLEは、実際の分布とのKLダイバージェンスを最小限に抑え$\tilde f$と$f_\theta(x)$すなわち、それは最小限に抑え、

$$KL(\tilde f \parallel f_\theta) = \int_{-\infty}^{+\infty} \tilde f(x) \left[ \log \tilde f(x) - \log f_\theta(x) \right] \, dx$$

うわー、これらのログはどこから来たのですか？特にKLの相違はなぜですか？

たとえば、異なる発散を最小化することが、ベイジアン後任者の超原理的で動機付けられた概念に対応せず、上記の可能性を最大化しないのはなぜですか？

このコンテキストでは、KLの相違やログについて特別なことがあるようです。もちろん、私たちは空中に手を投げて、それがまさに数学がそうであると言うことができます。しかし、明らかにするために、より深い直感やつながりがあるのではないかと思います。

このような計算での対数の使用は、情報理論に由来します。KL発散の特定のケースでは、メジャーは2つの分布の相対情報として解釈できます。

$$\begin{equation} \begin{aligned} KL(\tilde{f} \parallel f_\theta) &= \int \limits_{-\infty}^\infty \tilde{f}(x) (\log \tilde{f}(x) - \log f_\theta (x)) \ dx \\[6pt] &= \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log f_\theta(x) \ dx}_{H(\tilde{f}, f_\theta)} \Bigg) - \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log \tilde{f}(x) \ dx}_{H(\tilde{f})} \Bigg), \\[6pt] \end{aligned} \end{equation}$$

$H(\tilde{f})$$\tilde{f}$$H(\tilde{f}, f_\theta)$$\tilde{f}$$f_\theta$$\tilde{f}$

短い投稿で、情報理論と情報測度の特性について十分に説明することはできません。ただし、統計と密接な関係があるため、フィールドを確認することをお勧めします。密度の対数の積分と合計を含む多くの統計的測度は、測度理論で使用される標準的な情報測度の単純な組み合わせであり、そのような場合、さまざまな密度などの基礎となる情報レベルに関する解釈を与えることができます。