見えないデータの対数平均された逆確率を指す用語「perplexity」に出会いました。困惑に関するウィキペディアの記事は、そのための直感的な意味を与えません。

この困惑度の尺度は、pLSAの論文で使用されました。

誰もが困惑度の必要性と直感的な意味を説明できますか？

あなたは困惑に関するウィキペディアの記事を見ました。離散分布の複雑さを次のように与えます

$$2^{-\sum_x p(x)\log_2 p(x)}$$

次のように書くこともできます

$$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$$

すなわち、確率の逆数の加重幾何平均として。連続分布の場合、合計は積分になります。

また、この記事では、個のテストデータを使用してモデルの困惑度を推定する方法も示しています。$N$

$$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$$

書くこともできます

$$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$$

または他のさまざまな方法で、これにより「対数平均逆確率」がどこから来るかをさらに明確にする必要があります。

私はこれがかなり直感的だとわかりました：

あなたが評価しているデータの、あなたが評価しているものの難しさは、ある種の「このことはx面のダイがそうであるのと同じくらい頻繁に正しい」ことを告げます。

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

私もこれを疑問に思いました。最初の説明は悪くはありませんが、価値のあるものについての2つのnatがあります。

---

まず第一に、困惑は、あなたがどれだけ正しいことを推測するかを特徴付けることとは何の関係もありません。確率的シーケンスの複雑さを特徴付けることと関係があります。

量、

$$2^{-\sum_x p(x)\log_2 p(x)}$$

最初にログとべき乗をキャンセルしましょう。

$$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$$

エントロピーを定義するために使用するベースでは、複雑さが不変であることを指摘する価値があると思います。そのため、この意味で、測定値としてのエントロピーよりも、パープレキシティは無限にユニーク/ arbitrary意的ではありません。

サイコロとの関係

これを少し試してみましょう。コインを見ているだけだとしましょう。コインが公正な場合、エントロピーは最大になり、困惑は最大

$$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$$

$N$面のサイコロを見るとどうなりますか？困惑は

$$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$$

したがって、パープレキシティは、フェアダイスの側面の数を表し、ロールされると、指定された確率分布と同じエントロピーを持つシーケンスを生成します。

州の数

$N$$N+1$$N$$\epsilon$$N$$N + 1$$\epsilon$$N$$x$$p_x$$N$

$$p^\prime_x=p_x\left(1-\epsilon\right)$$

$$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$$

$\epsilon\rightarrow 0$

$$\frac{1}{\prod_x^N {p_x}^{p_x}}$$

したがって、サイコロの片側を転がす可能性がますます低くなると、混乱が最終的にはその側が存在しないように見えます。

$X$$X'$

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$

説明すると、均一分布Xの複雑さは、要素数| X |にすぎません。Xからiidを推測するだけで、均一分布Xからiidサンプルがとる値を推測しようとすると、正しい1 / | X | = 1 /時間の複雑性になります。一様分布は値を推測するのが最も難しいため、1 / perplexityを、推測が正しい頻度の下限/ヒューリスティック近似として使用できます。