log（p（x、y））はどのようにして点ごとの相互情報を正規化しますか？

私は点ごとの相互情報の正規化された形式を理解しようとしています。

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

なぜ対数結合確率は、点ごとの相互情報を[-1、1]の間に正規化するのですか？

ポイントごとの相互情報は次のとおりです。

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p（x、y）は[0、1]によって制限されるため、log（p（x、y））は（、0]によって制限されます。log（p（x、y））は、分子ですが、正確にはわかりません。また、エントロピー思い出しますが、正確な関係はわかりません。$h=-log(p(x))$

個別の相互情報に関するウィキペディアのエントリから：

点ごとの相互情報を[-1、+ 1]の間で正規化すると、一緒に発生しない場合は-1（制限内）、独立性の場合は0、完全な共起性の場合は+1になります。

なぜそれが起こるのですか？さて、ポイントワイズ相互情報の定義は

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

一方、正規化された点ごとの相互情報は次のとおりです。

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

あるとき：

• 共起なし、、したがってnmpiは-1$\log p(x,y)\to -\infty$
• ランダムに共起、なので、nmpiは0、$\log p(x,y)= \log[p(x) p(y)]$
• 完全な共起、なので、 nmpiは1です。$\log p(x,y)= \log p(x) = \log p(y)$

Piotr Migdalの回答は、nmpiが3つの極値を達成する例を示すのに有益ですが、区間にあることを証明していません。ここに不平等とその派生があります。 としてイベント場合。非負のですると、 $[-1,1]$

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ $-\log\,p(A)\ge0$$A$$h(x,y):=-\log\,p(x,y)$ $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$