仮説検定と総変動距離対カルバック・ライブラー分岐

私の研究では、次の一般的な問題にしました。同じドメイン上に2つの分布 $P$ と $Q$ があり、それらの分布からのサンプルが多数（ただし有限）あります。サンプル独立して同一これら二つの分布のいずれかから分配される（分布が関係してもよいが：例えば、 $Q$ の混合物であってもよい $P$ 。およびいくつかの他のディストリビューション）帰無仮説は、試料から来ることである $P$ 、代替仮説はことですサンプルはからのもの $Q$ です。

分布 $P$ と知って、サンプルのテストでタイプIとタイプIIのエラーを特徴づけようとしてい $Q$ ます。特に、私は $P$ と知識に加えて、もう1つのエラーを制限することに興味があり $Q$ ます。

私が求めている質問の関係についてmath.SE上の全変動距離の間に $P$ と $Q$ 仮説検定には、私は受け入れたことの答えを受けました。その答えは理にかなっていますが、問題に関連するため、総変動距離と仮説検定の関係の背後にあるより深い意味に心を包むことができませんでした。したがって、私はこのフォーラムを利用することにしました。

私の最初の質問は次のとおりです。全体の変動は、タイプIとタイプIIのエラーの確率の合計にバインドされていますか？本質的に、サンプルがいずれかの分布によって生成された可能性があるゼロ以外の確率がある限り、エラーの少なくとも1つの確率はゼロ以外でなければなりません。基本的に、仮説テスターが信号処理をどれほど行っても、間違いを犯す可能性を回避することはできません。そして、総変動はその正確な可能性を制限します。私の理解は正しいですか？

タイプIとIIのエラーと基になる確率分布とは、KLダイバージェンスという別の関係もあります。したがって、私の2番目の質問は次のとおりです。KLダイバージェンスバウンドは、特定の仮説検定法（対数尤度比法の周りに多く出てくるように思われる）にのみ適用できますか、それともすべての仮説検定法に一般的に適用できますか？すべての仮説検定法に適用できる場合、なぜそれが合計変動限界と非常に異なるように見えるのですか？動作は異なりますか？ $P$ $Q$

そして私の根底にある質問は、私がどちらかのバウンドを使用する必要がある所定の一連の状況がありますか、それとも純粋に便利な問題ですか？ある拘束を使用して、他の拘束を使用して結果をいつ導出する必要がありますか？

これらの質問が些細なものである場合はお詫び申し上げます。私はコンピュータサイエンティストです（つまり、これは私には空想的なパターンマッチングの問題のようです:)）。しかし、私はこの仮説テストのすべてを学び始めたばかりです。必要に応じて、質問を明確にするために最善を尽くします。

— MBM
ソース

回答:

文献：必要な答えのほとんどは、確かにリーマンとロマーノの本にあります。IngsterとSuslinaによる本は、より高度なトピックを扱っており、あなたに追加の答えを与えるかもしれません。

答えは：しかし、物事は非常に単純です：（または）で使用される「真」の距離があります。正式な計算（特に製品メジャーの場合、つまりサイズが iidサンプルがある）には不便で、他の距離（上限）を使用できます。詳細をお教えします。 $L_1$ $TV$ $n$ $L_1$

開発：で示しましょう

$g_1(\alpha_0,P_1,P_0)$ $\leq\alpha_0$ $P_0$ $P_1$
$g_2(t,P_1,P_0)$ $t$ $(1-t)$ $P_0$ $P_1$

$L_1$ $L_1$ $L_1$ $TV$

$L_1$ $\chi^2$ $P_1$ $P_0$ $P_i=p_i^{\otimes n}$ $i=0,1$ $p_1$ $p_0$ $n$ $h(P_1,P_0)$ $h(p_1,p_0)$ $KL$ $\chi^2$ $L_1$

$A_1(\nu_1,\nu_0)$ $\nu_1$ $\nu_2$

A_{1} (ν_{1}, ν_{0}) = \int min (d ν_{1}, d ν_{0})

$A_1(\nu_1,\nu_0)=\int \min(d\nu_1,d\nu_0)$

$|\nu_1-\nu_0|_1=\int|d\nu_1-d\nu_0|$

$2A_1(\nu_1,\nu_0)=\int (\nu_1+\nu_0)-|\nu_1-\nu_0|_1$
$g_1(\alpha_0,P_1,P_0)=\sup_{t\in [0,1/\alpha_0]} \left ( A_1(P_1,tP_0)-t\alpha_0 \right )$
$g_2(t,P_1,P_0)=A_1(t P_0,(1-t)P_1)$

ここに証明を書いた。

定理2について及び確率分布： $P_1$ $P_0$

\frac{1}{2} | P_{1} - P_{0} |_{1} \leq h (P_{1}, P_{0}) \leq \sqrt{K (P_{1}, P_{0})} \leq \sqrt{χ^{2} (P_{1}, P_{0})}

$\frac{1}{2}|P_1-P_0|_1\leq h(P_1,P_0)\leq \sqrt{K(P_1,P_0)} \leq \sqrt{\chi^2(P_1,P_0)}$

これらの境界は、よく知られている統計学者（LeCam、Pinskerなど）によるものです。はHellinger距離、 KL発散、はカイ乗発散です。これらはすべてここで定義されています。そして、これらの境界の証明が与えられます（さらなることがTsybacovの本にあります）。Hellinger による下限に近いものもあります... $h$ $K$ $\chi^2$ $L_1$

— ロビン・ジラード
ソース

P_{0}

$P_0$

P_{1}

$P_1$

そして、リーマンとロマーノの本の提案をありがとう、それは私の頭の上ではあまり役に立たず、あまり見えません。また、私のライブラリはコピーを所有しています！:)

— MBMは、2011年

A_{1}

$A_1$

g_{1}

$g_1$

g_{2}

$g_2$

A_{1}

$A_1$

\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} | \frac{\exp (- x^{2} / 2 σ_{1}^{2})}{σ_{1}} - \frac{\exp (- x^{2} / 2 σ_{2}^{2})}{σ_{2}} | d x

$\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\left|\frac{\exp(-x^2/2\sigma^2_1)}{\sigma_1}-\frac{\exp(-x^2/2\sigma^2_2)}{\sigma_2}\right|dx$

A_{1}

$A_1$

\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} min (\frac{\exp (- x^{2} / 2 σ_{1}^{2})}{σ_{1}}, \frac{\exp (- x^{2} / 2 σ_{2}^{2})}{σ_{2}}) d x

$\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\min\left(\frac{\exp(-x^2/2\sigma^2_1)}{\sigma_1},\frac{\exp(-x^2/2\sigma^2_2)}{\sigma_2}\right)dx$

\int (ν_{1} + ν_{2})

$\int (\nu_1+\nu_2)$

最初の質問への回答：はい、1から総変動距離を引いたものが、タイプI +タイプIIのエラー率の合計の下限になります。この下限は、選択した仮説検定アルゴリズムに関係なく適用されます。

$A$

（厳密に言えば、この推論の行は、仮説検定が決定論的な手順であることを前提としています。ただし、無作為化された手順を考慮した場合でも、同じ制限が依然として当てはまることを示すことは可能です。）

— DW
ソース