2つの分布間のHellinger距離の不偏推定量はありますか？

密度分布から分布観察する設定では、密度別の分布、すなわち距離の不偏推定量（基づく）があるのだろうか $X_1,\ldots,X_n$ $f$ $X_i$ $f_0$

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— 西安
ソース

したがって、f0は既知であり、修正されています。しかし、fは既知であるか、パラメトリックファミリに属しているか、またはサンプルから得られるfについて知っているすべてを使用してノンパラメトリックフレームワークでこれを行っていますか？答えをしようとすると違いが出ると思います。

— マイケルR.チェルニック

@MichaelChernick：について知っているのはサンプルだけだと仮定します。

f

$f$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— 西安

（存在する場合）計算されたとは思わない。存在する場合、AICには失われた兄弟がいます。

この問題に対する攻撃は、とが離散的であると仮定した場合に実行可能に見えます。これにより、明らかな推定値が得られます（EDFと間のHellinger距離を計算し）。ブートストラップ（理論的には、シミュレーション経由ではありません！）は、可能なバイアスを処理し、バイアスを低減（または除去）する方法を提供します。距離そのものではなく、二乗距離で成功することを希望します。数学的には扱いやすいからです。離散の仮定は、アプリケーションでは問題ありません。とにかく、離散の空間は密なサブセットです。

f

$f$

f_{0}

$f_0$

f_{0}

$f_0$

f

$f$

f

$f$

— whuber

の「正真正銘」の不偏推定量は存在しないというRosenblattの証明を思い浮かべます。それを克服し、

不偏推定量を取得できますか？知りません。

f

$f$

H (f, f_{0})

$H(f,f_0)$

— 禅

回答:

適度に広いノンパラメトリッククラスの分布からのについて、またはどちらの不偏推定量も存在しません。 $\mathfrak{H}$ $\mathfrak{H}^2$ $f$

これを美しくシンプルな引数で示すことができます

Bickel and Lehmann（1969）。凸族の偏りのない推定。数理統計学、40（5）1523–1535。（プロジェクトeuclid）

対応する密度、、および、いくつかの分布、、および修正します。LET 示す、およびlet いくつかの推定であるに基づいて IIDサンプル。 $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

仮定フォームの任意の分布からのサンプルについて、公正であるしかし、その後 $\hat H$

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

その結果

でなければならない多項式

の高々度

。

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X \sim F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X \sim G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$

Q (α)

$Q(\alpha)$

α

$\alpha$

n

$n$

それでは、合理的なケースに特化して、対応するが多項式ではないことを示しましょう。 $Q$

LET で一定の密度を有するいくつかのディストリビューションである：全てについて。（その動作範囲外は関係ないこと）レッツいくつかの分布でのみサポートされ、及び一部分布でのみサポート。 $F_0$ $[-1, 1]$ $f_0(x) = c$ $\lvert x \rvert \le 1$ $F$ $[-1, 0]$ $G$ $[0, 1]$

今

\begin{aligned} Q (α) & = H (m_{α}, f_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{m_{α} (x) f_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{c α f (x)} d x - \int_{0}^{1} \sqrt{c (1 - α) g (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$

のために、同様に

。密度を持つ分布

、

については、

、

であることに注意してください。

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$

B_{G}

$B_G$

B_{F} > 0

$B_F > 0$

B_{G} > 0

$B_G > 0$

F

$F$

G

$G$

任意の有限次数の多項式ではありません。したがって、いかなる推定量のために公平になることはできません分布の全てに有限個のサンプルを有します。 $\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ $\hat H$ $\mathfrak{H}$ $M_\alpha$

同様に、また、多項式ではない、のための推定がない分布の全てに公平である有限個のサンプルを有します。 $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ $\mathfrak{H}^2$ $M_\alpha$

これは、以下の範囲の密度を持つものを除き、ほとんどすべての合理的な分布のノンパラメトリッククラスを除外します（ノンパラメトリック分析が仮定することがあります）。密度を一定にするなどして、同様の引数でこれらのクラスを殺すこともできます。

— ダガル
ソース

$f_0$ $X_1,\dots,X_n$ $f>0$

H (f, f_{0}) = \sqrt{1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{f_{0} (x)}{f (x)}} f (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

= \sqrt{1 - E [\sqrt{\frac{f_{0} (X)}{f (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$

X \sim f

$X\sim f$

\sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{f (X_{i})}}} \to H (f, f_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$

n \to \infty

$n\to\infty$

H (f, f_{0})

$H(f,f_0)$

\hat{f_{n}}

$\hat{f_n}$

f

$f$

\hat{H} = \sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{\hat{f_{n}} (X_{i})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— 禅
ソース

H

$H$

{\hat{H}}_{n}^{2}

$\hat H^2_n$

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$

推定量の西安の分散について説明してくれてありがとう！

— 禅

k

$k$

f

$f$

f_{0}

$f_0$

f_{0}

$f_0$