特別な確率分布

場合非ゼロ値を有する確率分布が上にある $p(x)$ $[0,+\infty)$ 、どのような種類の（S）のための $p(x)$ の定数が存在する $c\gt 0$ よう $\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2$ すべてについて $0\lt\epsilon\lt 1$ ？

上記の不等式は、実際には分布 $p(x)$ とその圧縮バージョン間のカルバック・ライブラー発散 ${(1+\epsilon)}p({x}{(1+\epsilon)})$ です。この不等式は指数分布、ガンマ分布、ワイブル分布に当てはまることがわかり、それがより大きなクラスの確率分布に有効かどうかを知りたいと思っています。

その不平等が何を意味するのか考えていますか？

— Sus20200
ソース

ϵ

$\epsilon$ は正なので、伸びるのではなく（x方向に）圧縮されます。

— Glen_b-モニカを復活させる

この質問はあいまいです。量指定子は何ですか？この不等式をすべての

、少なくとも1つの

、または他の何かについて保持したいですか？さ

与えられた演繹的にまたはあなたがそこになければならないわけです、少なくとも1つのそのような値が存在するの

？そして、確率分布のクラスに言及しているので、「

」とは、特定の分布を意味するのですか、それともそれらのパラメトリックファミリーを意味するのですか？

ϵ

$\epsilon$

ϵ

$\epsilon$

c

$c$

c

$c$

p (x)

$p(x)$

— whuber

@whuberコメントありがとうございます。上記の問題を明確にするために、問題のステートメントを修正しました。つまり、上記の不等式はどの

に当てはまりますか？答えは、分布のパラメトリックファミリーを導入するか、目的の不等式で十分である

微分方程式を提案することです。

p (x)

$p(x)$

p (x)

$p(x)$

— Sus20200

この不等式は、連続的で無限にサポートされているp（x）で機能しませんか？もしパラメトリック家族内部KL発散を計算している（

。KLが0でdiffentiableある場合、それはデリバティブの0撮影である

のために（KLの曲率の最大値であること

。）、当社が結合した追加の作業で、それは、pの性質から結合Cに可能であるかもしれない

ϵ \to p (x (1 + ϵ))

$\epsilon \rightarrow p(x(1+\epsilon))$

C

$C$

ϵ \in [0, 1]

$\epsilon \in [0,1]$

— ギヨームDehaene

限り、無限大にすることができます。KLの1次展開は

L = lim_{x \to 0} p (x) x = 0

$L = \lim_{x \rightarrow 0} p(x)x = 0$

L ϵ + O (ϵ^{2})

$L \epsilon + O(\epsilon^2)$

— アーサーB.

予選

書く

I_{p} (ϵ) = \int_{0}^{\infty} p (x) \log (\frac{p (x)}{(1 + ϵ) p (x (1 + ϵ))}) d x .

$\mathcal{I}_p(\epsilon) = \int_0^\infty p(x) \log\left(\frac{p(x)}{(1+\epsilon)p(x(1+\epsilon))}\right)\, dx.$

対数ととは、両方の $p(x)$ $p(x(1+\epsilon))$ $p$ とその引数のを指数としてしています。そのために、定義する

q (y) = \log (p (e^{y}))

$q(y) = \log(p(e^y))$

すべての実のため右辺が定義さに等しくされているどこ。変数の変化はとし、（を分布の密度とする）全確率の法則は次のように表せることに注意してください。 $y$ $-\infty$ $p(e^y)=0$ $x=e^y$ $dx=e^y dy$ $p$

\begin{matrix} (1) & 1 = \int_{0}^{\infty} p (x) d x = \int_{R} e^{q (y) + y} d y . \end{matrix}

$1 = \int_0^\infty p(x)dx = \int_\mathbb{R} e^{q(y)+y} dy.\tag{1}$

とき、と仮定しましょう。 $e^{q(y)+y}\to 0$ $y\to\pm\infty$ これは、または近い密度の無限に多くのスパイクを持つ確率分布を除外します。特に、のテールが最終的に単調である場合、この仮定を暗示し、深刻なものではないことを示します。 $p$ $0$ $\infty$ $p$ $(1)$

対数の操作を簡単にするために、

1 + ϵ = e^{ϵ} + O (ϵ^{2}) .

$1+\epsilon = e^\epsilon + O(\epsilon^2).$

以下の計算は、の倍数まで行われることになるので、 $\epsilon^2$ 、定義します

δ = \log (1 + ϵ) .

$\delta = \log(1+\epsilon).$

我々としても交換するかもしれないすることによりと、対応すると正のポジティブに対応します $1+\epsilon$ $e^\delta$ $\delta=0$ $\epsilon=0$ $\delta$ $\epsilon$ 。

分析

不等式が失敗することが可能な1つの明白な方法は、一体型のためになるいくつかのために発散し。例えば、あることをがあった場合などはどうなる任意の適切な間隔正の数の、ここでどのように小さな、どんなに同様にゼロであったが、間隔にゼロではありませんでした $\mathcal{I}_p(\epsilon)$ $\epsilon \in (0, 1]$ $[u, v]$ $p$ $p$ $[u-\epsilon, v-\epsilon]$ 。これにより、被積分関数は正の確率で無限になります。

質問はの性質に関して不明確であるため、がどれだけ滑らかであるかに関する技術的な問題に行き詰まる可能性があります。どこでもに使用したい派生物がたくさんあると仮定することで、まだある程度の洞察を得ることを望んで、そのような問題を避けましょう。（が連続している場合は2つで十分です。）が有界集合で有界のままであることが保証されるため、場合、がゼロにことはありません。 $p$ $p$ $q$ $q^{\prime\prime}$ $q$ $p(x)$ $x \gt 0$

質問は本当にの行動に関することを注意として、上からゼロに近づきます。この積分は、の連続関数であるので、間隔で、それはいくつかの最大となる場合任意の正の間隔に制限されているを選択するために私達を可能にする、、明らかに $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\epsilon$ $(0,1]$ $M_p(a)$ $\epsilon$ $[a,1]$ $c = M_p(a)/a^2$

c ϵ^{2} = M_{p} (a) {(\frac{ϵ}{a})}^{2} \geq M_{p} (a) \geq I_{p} (ϵ)

$c\epsilon^2 = M_p(a) \left(\frac{\epsilon}{a}\right)^2 \ge M_p(a) \ge \mathcal{I}_p(\epsilon)$

不平等を機能させます。これが、法とする計算にのみ関係する必要がある理由です。 $\epsilon^2$

解決

からへ、から、そしてからへの変数の変化を使用して、単純化を実現するために、（または）の2次からを計算しましょう。そのために定義する $x$ $y$ $p$ $q$ $\epsilon$ $\delta$ $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\delta$

R (y, δ) δ^{2} = q (y + δ) - q (y) - δ q^{'} (y)

$\mathcal{R}(y, \delta) \delta^2 = q(y+\delta) - q(y) - \delta q^\prime(y)$

周りののテイラー展開の次数剰余になります。 $2$ $q$ $y$

\begin{aligned} I_{p} (ϵ) & = \int_{R} e^{q (y) + y} (q (y) - q (y + δ) - δ) d y \\ = - \int_{R} e^{q (y) + y} (δ + δ q^{'} (y) + R (y, δ) δ^{2}) d y \\ = - δ \int_{R} e^{q (y) + y} (1 + q^{'} (y)) d y - δ^{2} \int_{R} e^{q (y) + y} R (y, δ) d y . \end{aligned}

$\eqalign{ \mathcal{I}_p(\epsilon) &= \int_\mathbb{R}e^{q(y) + y} \left(q(y) - q(y+\delta) - \delta\right)\, dy \\ &=-\int_\mathbb{R}e^{q(y) + y} \left(\delta + \delta q^\prime(y) + \mathcal{R}(y, \delta) \delta^2 \right)\, dy \\ &= -\delta\int_\mathbb{R}e^{q(y) + y} \left(1+q^\prime(y)\right)\, dy -\delta^2\int_\mathbb{R}e^{q(y) + y} \mathcal{R}(y, \delta)\, dy. }$

左の積分で変数をに変更すると、続く仮定で述べたように、変数が消えなければならないことがわかります。右積分で変数をに戻すと、 $q(y)+y$ $(1)$ $x=e^y$

I_{p} (ϵ) = - δ^{2} \int_{R} p (x) R (\log (x), δ) d y = - δ^{2} E_{p} (R (\log (x), δ)) .

$\mathcal{I}_p(\epsilon) = - \delta^2 \int_\mathbb{R} p(x) \mathcal{R}(\log(x), \delta)\, dy = -\delta^2 \mathbb{E}_p\left(\mathcal{R}(\log(x), \delta)\right).$

不平等は、係数の場合に限り、（私たちの様々な技術的な仮定の下で）保持している右側には有限です。 $\delta^2$

解釈

$\mathcal{I}_p(\epsilon)$ $\epsilon$ $q$ $y$ $\pm\infty$ 。

質問で言及されたいくつかのケースをチェックしてみましょう：指数分布とガンマ分布。（指数はガンマの特殊なケースです。）スケールパラメーターは測定単位を変更するだけなので、スケールパラメーターについて心配する必要はありません。スケール以外のパラメーターのみが重要です。

$p(x) = x^k e^{-x}$ $k \gt -1$

q (y) = - e^{y} + k y - \log Γ (k + 1) .

$q(y) = -e^y + k y - \log\Gamma(k+1).$

y

$y$

Constant + (k - e^{y}) δ - \frac{e^{y}}{2} δ^{2} + \dots .

$\text{Constant} + (k-e^y)\delta - \frac{e^y}{2}\delta^2 + \cdots.$

R (\log (x), δ)

$\mathcal{R}(\log(x),\delta)$ is dominated by

e^{y + δ} / 2 < x

$e^{y+\delta}/2 \lt x$ for sufficiently small

δ

$\delta$ . Since the expectation of

x

$x$ is finite, the inequality holds for Gamma distributions.

Similar calculations imply the inequality for Weibull distributions, Half-Normal distributions, Lognormal distributions, etc. In fact, to obtain counterexamples we would need to violate at least one assumption, forcing us to look at distributions where $p$ vanishes on some interval, or is not continuously twice differentiable, or has infinitely many modes. These are easy tests to apply to any family of distributions commonly used in statistical modeling.

— whuber
ソース