n-gramモデルの複雑さと交差エントロピー

クロスエントロピーと当惑の関係を理解し​​ようとしています。一般に、モデルMの場合、Perplexity（M）= 2 ^ entropy（M）です。この関係は、すべての異なるNグラム、つまり、ユニグラム、バイグラムなどに当てはまりますか？

はい、困惑度は常にエントロピーの2乗に等しくなります。n-gram、unigram、またはニューラルネットワークなど、モデルのタイプは関係ありません。

言語モデリングの人々がエントロピーを使用するだけでなく、困惑を好む理由はいくつかあります。1つは、指数のために、エントロピーの同等の改善よりも、より複雑な「感覚」のような複雑さの改善です。もう1つは、困惑度の使用を始める前に、言語モデルの複雑さは、エントロピーよりも困惑度に類似した単純化された分岐係数測定を使用して報告されたことです。

@Aaronの回答に若干の変更を加えて同意します。

エントロピーの2乗に等しいとは限りません。実際には、それは（対数の底）エントロピーの力になります。eをベースとして使用した場合、e ^ entropyになります。