t-SNE目的関数でクロスエントロピーではなく、Kullback-Leibler発散を使用する理由

私の考えでは、サンプル分布から真の分布へのKLの相違は、単純にクロスエントロピーとエントロピーの違いです。

多くの機械学習モデルでクロスエントロピーをコスト関数として使用するのに、t-sneでKullback-Leibler発散を使用するのはなぜですか？学習速度に違いはありますか？

kullback-leibler tsne cross-entropy

KL上のいくつかの直感は、ここを参照してください： stats.stackexchange.com/questions/188903/...

— はKjetil B Halvorsenの

KL発散は、2つの確率分布の差を測定する自然な方法です。エントロピー分布のから引き出さ無損失エンコードイベントに（平均して）必要とされるメッセージ当たりのビットの最小可能数与える。この限界を達成するには、向けに設計された最適なコードを使用する必要があります。これは、短いコードワードをより高い確率のイベントに割り当てます。数の期待値として解釈することができる余分の真の分布から引き出さエンコードイベントに必要なメッセージ当たりのビット $H(p)$ $p$ $p$ $p$ $D_{KL}(p \parallel q)$ $p$ 、ではなく分布最適なコードを使用する場合。分布を比較するための素晴らしいプロパティがいくつかあります。たとえば、とが等しい場合、KL発散は0です。 $q$ $p$ $p$ $q$

$H(p, q)$ $p$ $q$ $D_{KL}(p \parallel q)$ $H(p, q)$ $p$ $H(p, q)$ $q$ $p$ $p$ $H(p, q)$ $p$

KLの発散とクロスエントロピーは次のように関連しています。

D_{K L} (p ∥ q) = H (p, q) - H (p)

$D_{KL}(p \parallel q) = H(p, q) - H(p)$

$p$ $q$ $p$

$p$ $q$

$p$ $H(p)$ $p$ $H(p)$ $p$

$p$ $q$ $D_{KL}(p \parallel q)$ $p$ $q_{j \mid i}$ $p_{j \mid i}$ Kullback-Leibler発散（この場合、加法定数までのクロスエントロピーに等しい）です。

ファン・デル・マーテンとヒントン（2008）。t-SNEを使用したデータの視覚化。

— user20160
ソース

どういうわけか「お気に入り」の回答はできますか？それは非常に良い説明ですので、私はこの1つを保存したい

— zwep

ありがとう、それはあなたに役立ってうれしいです。投票ボタンの下にある星のアイコンをクリックすると、質問をお気に入りとしてマークしてスレッド全体を保存できます。アカウントページでお気に入りのリストを表示できます。

— user20160