メトリックのすべてのプロパティを保持する確率距離はありますか?


13

Kullback-Leibler距離の研究では、非常に迅速に学習する2つのことがあります。それは、三角形の不等式も対称性も、メトリックの必須プロパティを尊重しないことです。

私の質問は、メトリックのすべての制約を満たす確率密度関数のメトリックがあるかどうかです。


確率密度に注目することは、「間違った」オブジェクトに注目することです。メトリックに関しては、「古典的」なもの、たとえばレヴィ(および関連するランダム変数に関するカイファンメトリック)、ワッサースタインと精神に近いもの、たとえばJensen-Shannon divergenceがあります。歴史的にほとんど見落とされいましたが、元のKL論文では、KLの発散は実際には対称的でした(まだメトリックではありません)。
枢機

1
@枢機inal、まあ、私はこの分野にはあまり興味がありません。「正しい」オブジェクトを提案してください。
ホルヘLeitao 14

2
JC:申し訳ありませんが、コメントボックスが小さくなりすぎて、そこに収めようとしていませんでした。詳しく説明する必要がありました。累積分布関数は、より一般的で自然な研究対象であることがわかりました。:-)
枢機

回答:




1

KLダイバージェンスにはいくつかの修正があり、メトリックプロパティの一部を取得します(すべてではありません)。

たとえば、ジェフリーの発散は、KL発散を修正して対称にします。

[1]を参照してください。「残念ながら、Kullback-Leibler(KL)発散とBhattacharyya距離に基づく従来の測定は、多くのアルゴリズムに必要なすべての計量公理を満たしていません。この論文では、KLの修正を提案します発散とBhattacharyya距離、多変量ガウス密度の場合、2つの測定値を距離メトリックに変換します。」

[1] K. Abou-MoustafaおよびF. Ferrie、「いくつかの発散測定のメトリックプロパティに関する注:ガウスケース」、JMLR:Workshop and Conference Proceedings 25:1–15、2012。


弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.