クロスエントロピー計算の対数ベースの違い


8

ここでTensorFlowチュートリアルを開始しましたが、クロスエントロピーの計算について少し質問があります。2を底とする対数を使用して計算されたクロスエントロピーを見たほとんどの場所ですが、tf.logはeを底としています。どのような条件下で、1つのログベースを使用するほうが望ましいでしょうか


一貫して使用しても違いはありません。
カール

回答:


15

対数底eと対数底2は、互いに一定の係数だけ離れています。

ログeログ2=ログe2ログee=ログe2

したがって、一方を他方の上で使用すると、一定の係数でエントロピーがスケーリングされます。対数2を使用する場合、エントロピーの単位はビットです。自然対数と同様に、単位はnatsです。

一方は他方よりも優れていません。km / hourとm / sの違いのようなものです。

ログベース2は、対数よりも計算が高速である可能性があります。ただし、実際には、クロスエントロピーの計算は、アルゴリズムの最もコストのかかる部分になることはほとんどないため、過度に懸念することではありません。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.