離散分布と連続分布の間にKLダイバージェンスを適用することは可能ですか？

12

私は数学者ではありません。KL Divergenceについてインターネットで検索しました。私が学んだことは、KLダイバージェンスは、入力分布に対してモデルの分布を近似したときに失われた情報を測定することです。これらは、2つの連続または離散分布の間で見られます。連続と離散の間、またはその逆でそれを行うことができますか？

distributions mathematical-statistics kullback-leibler

— プラカシュ
ソース

関連：stats.stackexchange.com/q/6907/2970

— 枢機卿

回答:

3

$x$ $p(x)$ $q(x)$ $p$ $\mathbb{R}^3$ $q$ $\mathbb{Z}$ $q(x)$ $p \in \mathbb{R}^3$ $p(z)$ $z \in \mathbb{Z}$ 。実際、異なる次元の空間（または離散、または基礎となる確率空間が一致しない場合）での2つの連続分布に対しても、それを行うことはできません。

特定のケースを念頭に置いている場合は、分布間の類似性の類似した目的の測定値を考え出すことができる場合があります。たとえば、離散分布のコードの下で連続分布をエンコードすると（明らかに情報が失われている場合など）、離散ケースでは最も近い点に丸めるなどの意味があります。

— ドゥガル
ソース

離散分布と絶対連続分布の間のKLの相違は明確に定義されていることに注意してください。

— Olivier

@Olivier通常の定義では、共通の支配的な手段が必要です。

— Dougal 2017

1

PとQが異なる空間で定義されている場合、あなたは正しいです。しかし、共通の測定可能な空間では、そのような測度は常に存在し（たとえば、P + Qを取る）、KLの相違は、測定を支配する特定の選択に依存しません。

— Olivier

8

$P$ $Q$ $\mathbb{X}$ $P$ $Q$ $f$ $g$ $\mu = P+Q$

D_{K L} (P, Q) = \int_{X} f \log \frac{f}{g} d μ .

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

$\mathbb{X} = [0,1]$ $P$ $Q = \delta_0$ $0$ $f(x) = 1-\mathbb{1}_{x=0}$ $g(x) = \mathbb{1}_{x=0}$

D_{K L} (P, Q) = \infty .

$D_{KL}(P, Q) = \infty.$

— オリビエ
ソース

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$

メジャー定理の変更。

— オリビエ

1

一般的にはありません。KLダイバージェンスは

D_{K L} (P | | Q) = \int_{X} \log (\frac{d P}{d Q}) d P

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

$P$ $Q$ $P$ $Q$ $\sigma$ $\frac{dP}{dQ}$

$\sigma$

— jtobin
ソース

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。

Licensed under cc by-sa 3.0 with attribution required.