カルバック–ライブラー対コルモゴロフ-スミルノフ距離

37

Kullback-LeiblerとKolmogorov-Smirnovの距離測定には、多くの正式な違いがあることがわかります。ただし、どちらも分布間の距離を測定するために使用されます。

一方を他方の代わりに使用する典型的な状況はありますか？
そうする理由は何ですか？

— グレッグ
ソース

関連する質問：stats.stackexchange.com/questions/4/...

— GaBorgulya

23

KL発散は、通常、情報理論的な設定、またはベイズの設定でさえ使用され、たとえば、何らかの推論を適用する前後の分布間の情報の変化を測定します。これは、対称性と三角形の不等式の欠如のために、典型的な（メートル法）の意味での距離ではないため、方向性が意味のある場所で使用されます。

KS距離は通常、ノンパラメトリックテストのコンテキストで使用されます。実際、一般的な「分布間の距離」として使用されることはめったにありません $\ell_1$ 距離、Jensen-Shannon距離、およびその他の距離がより一般的です。

— スレシュ・ベンカタスブラマニアン
ソース

5

言及する価値のあるKL発散のもう1つの用途は、仮説検定です。想定

密度のいずれかでの対策からIIDさまたは。ましょう。Neyman--Pearsonにと、が大きい場合、最適なテストは拒否されます。ここで、ではで、ではです。以降非負であり、含意は、そのルール使用

X_{1}, X_{2}, \dots

$X_1, X_2, \ldots$

p_{0}

$p_0$

p_{1}

$p_1$

T_{n} = n^{- 1} \sum_{i = 1}^{n} \log (p_{1} (X_{i}) / p_{0} (X_{i}))

$T_n = n^{-1} \sum_{i=1}^n \log( p_1(X_i) / p_0(X_i) )$

T_{n}

$T_n$

p_{0}

$p_0$

T_{n} \to - D (p_{0} | | p_{1})

$T_n \to -D(p_0 \,\vert\vert\, p_1)$

p_{1}

$p_1$

T_{n} \to D (p_{1} | | p_{0})

$T_n \to D(p_1 \,\vert\vert\, p_0)$

D (\cdot | | \cdot)

$D(\cdot \,\vert\vert\, \cdot)$

T_{n} > 0

$T_n > 0$ を拒否するは漸近的に完全です。

p_{0}

$p_0$

— 枢機

確かに。それは素晴らしい例です。実際、チェルノフ-ホーフディングの尾の境界のほとんどの一般的なバージョンは、KL発散を使用しています。

— スレシュVenkatasubramanian

2

前の回答と同じことをより一般的な言葉で述べる別の方法：

KL発散-実際には、相互の2つの分布の差の大きさの尺度を提供します。前の回答で述べたように、この測定は対称ではないため、適切な距離メトリックではありません。つまり、分布AとBの間の距離は、分布BとAの間の距離とは異なる値です。

コルモゴロフ-スミルノフ検定-これは、基準分布に対する試験分布の累積分布間の最大の分離を調べる評価指標です。さらに、このメトリックをコルモゴロフ分布に対するzスコアのように使用して、テスト分布が参照と同じ分布であるかどうかについて仮説検定を実行できます。このメトリックは対称なので、距離関数として使用できます。つまり、AのCDFとBのCDFの最大の分離は、BのCDFとAのCDFの最大の分離と同じです。

— SriK
ソース