フィッシャーメトリックと相対エントロピーの関係

20

誰かがフィッシャー情報メトリックと相対エントロピー（またはKL発散）の間の次の関係を純粋に数学的な厳密な方法で証明できますか？

D (p (\cdot, a + d a) ∥ p (\cdot, a)) = \frac{1}{2} g_{i, j} d a^{i} d a^{j} + (O (‖ d a ‖^{3})

$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$ ここで

a = (a^{1}, \dots, a^{n}), d a = (d a^{1}, \dots, d a^{n})

$a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$ 、

g_{i, j} = \int \partial_{i} (\log p (x; a)) \partial_{j} (\log p (x; a)) p (x; a) d x

$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$

g_{i, j} d a^{i} d a^{j} := \sum_{i, j} g_{i, j} d a^{i} d a^{j}

$g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$

および

はアインシュタインの総和規則です。

上記のことは、John Baezの素敵なブログで見つけました。VasileiosAnagnostopoulosがコメントでそれについて述べています。

mathematical-statistics kullback-leibler fisher-information

— くまら
ソース

1

親愛なるクマラ：明確にするために、あなたの記法、特に

意味をより良く説明するのに役立つでしょう

g_{i, j}

$g_{i,j}$ 。また、表示式の右辺の最初の項の前に定数の

式が欠けていると思います

1 / 2

$1/2$ 。Kullback自身が発散と呼んだもの（表記

J (\cdot, \cdot)

$J(\cdot,\cdot)$ ）は、KL発散と呼ばれる既知のものの対称バージョンであることに注意してください。つまり、

J (p, q) = D (p ‖ q) + D (q ‖ p)

$J(p,q) = D(p \| q) + D(q \| p)$ 。KLの発散は、カルバックの著作では

と示さ

I (\cdot, \cdot)

$I(\cdot,\cdot)$ れていました。これは

の係数も説明して

1 / 2

$1/2$ います。乾杯。

— 枢機

19

1946年、地球物理学者およびベイジアン統計学者ハロルドジェフリーズは、今日カルバックライブラー発散と呼ぶものを導入し、「無限に近い」2つの分布について（Math SEの人がこれを見ないことを期待しましょう;-)それらの係数がフィッシャー情報行列の要素によって与えられる二次形式としてのカルバック・ライブラー発散。彼はこの二次形式をリーマン多様体の長さの要素として解釈し、フィッシャー情報がリーマン計量の役割を果たしました。統計モデルのこの幾何学化から、彼は、リーマン計量によって自然に誘導される尺度としてジェフリーズの事前分布を導き出しました。この尺度は、一般に有限尺度ではありませんが、多様体上の本質的に均一な分布として解釈できます。

厳密な証明を書くには、すべての規則性条件を見つけ出し、テイラー展開の誤差項の順序に注意する必要があります。これは、議論の簡単なスケッチです。

2つの密度と間の対称化されたKullback-Leibler発散は、次のように定義されます。 $f$ $g$

D [f, g] = \int (f (x) - g (x)) \log (\frac{f (x)}{g (x)}) d x .

$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$

でパラメーター化された密度のファミリーがある場合、 $\theta=(\theta_1,\dots,\theta_k)$

D [p （ \cdot ∣ θ ） 、 p （ \cdot ∣ θ + △ θ ）] = \int （ p （ バツ 、 ∣ θ ） - p （ バツ ∣ θ + △ θ ） ） ログ （ \frac{p （ バツ ∣ θ ）}{p （ バツ ∣ θ + △ θ ）} ） d バツ 、

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$

中。表記の導入いくつかの簡単な代数は自然対数にテイラー展開を使用すると、

Δ θ = (Δ θ_{1}, \dots, Δ θ_{k})

$\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$

△ p （ バツ ∣ θ ） = p （ バツ ∣ θ ） - p （ バツ ∣ θ + △ θ ） 、

$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$

D [p （ \cdot ∣ θ ） 、 p （ \cdot ∣ θ + △ θ ）] = \int \frac{△ p （ バツ ∣ θ ）}{p （ バツ ∣ θ ）} ログ （ 1 + \frac{△ p （ バツ ∣ θ ）}{p （ バツ ∣ θ ）} ） p （ バツ ∣ θ ） d バツ 。

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$

ログ （ 1 + \frac{△ p （ バツ ∣ θ ）}{p （ バツ ∣ θ ）} ） \approx \frac{△ p （ バツ ∣ θ ）}{p （ バツ ∣ θ ）} 、

$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$

したがってただし、したがって、ここで

D [p （ \cdot ∣ θ ） 、 p （ \cdot ∣ θ + △ θ ）] \approx \int {（ \frac{△ p （ バツ ∣ θ ）}{p （ バツ ∣ θ ）} ）}^{2} p （ バツ ∣ θ ） d バツ 。

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$

\frac{△ p （ バツ ∣ θ ）}{p （ バツ ∣ θ ）} \approx \frac{1}{p （ バツ ∣ θ ）} \sum_{私 = 1}^{k} \frac{\partial p （ バツ ∣ θ ）}{\partial θ_{私}} △ θ_{私} = \sum_{私 = 1}^{k} \frac{\partial ログ p （ バツ ∣ θ ）}{\partial θ_{私}} △ θ_{私} 。

$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$

D [p （ \cdot ∣ θ ） 、 p （ \cdot ∣ θ + △ θ ）] \approx \sum_{私 、 j = 1}^{k} g_{私 j} △ θ_{私} △ θ_{j} 、

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$

g_{私 j} = \int \frac{\partial ログ p （ バツ ∣ θ ）}{\partial θ_{私}} \frac{\partial ログ p （ バツ ∣ θ ）}{\partial θ_{j}} p （ バツ ∣ θ ） d バツ 。

$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$

これは元の論文です。

ジェフリーズ、H。（1946）。推定問題における事前確率の不変式。手続き王立協会ロンドン、シリーズA、186、453–461。

— 禅
ソース

1

素敵な文章をありがとうございました。あなたもこれを助けることができればいいでしょう。

— くまら

はい、あなたは正しく言った。この「抽象化のtrap」から抜け出さなければなりません。

— くまら

@zen積分の下で対数のテイラー展開を使用していますが、なぜそれが有効ですか？

— Sus20200

1

標準のKL発散とは対照的に、対称化されたKL発散から開始することが重要と思われます。ウィキペディアの記事では、対称化されたバージョンについては言及されていないため、間違っている可能性があります。en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence

— 外科司令官

11

通常の（非対称）KL発散の証明

Zenの答えは対称化されたKL発散を使用しますが、結果は無限に近い分布に対して対称になるため、通常の形式にも当てはまります。

これはスカラーパラメーター化された離散分布の証明です（私は怠け者だからです）が、連続分布またはパラメーターのベクトル用に簡単に書き換えることができます。 $\theta$

D （ p_{θ} 、 p_{θ + d θ} ） = \sum p_{θ} ログ p_{θ} - \sum p_{θ} ログ p_{θ + d θ} 。

$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$ 最終項のテイラー展開：いくつかの規則性を仮定して、2つの結果を使用しました。

= \underset{= 0}{\underset{⏟}{\sum p_{θ} ログ p_{θ} - \sum p_{θ} ログ p_{θ}}} - d θ \underset{= 0 †}{\underset{⏟}{\sum p_{θ} \frac{d}{d θ} ログ p_{θ}}} - \frac{1}{2} {d θ}^{2} \underset{= - \sum p_{θ} （ \frac{d}{d θ} ログ p_{θ} ）^{2} ‡}{\underset{⏟}{\sum p_{θ} \frac{d^{2}}{d θ^{2}} ログ p_{θ}}} + O （ {d θ}^{3} ） = \frac{1}{2} {d θ}^{2} \underset{フィッシャー情報}{\underset{⏟}{\sum p_{θ} （ \frac{d}{d θ} ログ p_{θ} ）^{2}}} + O （ {d θ}^{3} ） 。

$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$

† ： \sum p_{θ} \frac{d}{d θ} ログ p_{θ} = \sum \frac{d}{d θ} p_{θ} = \frac{d}{d θ} \sum p_{θ} = 0 、

$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$

\begin{aligned} ‡ ： \sum p_{θ} \frac{d^{2}}{d θ^{2}} ログ p_{θ} & = \sum p_{θ} \frac{d}{d θ} （ \frac{1}{p_{θ}} \frac{d p_{θ}}{d θ} ） \\ = \sum p_{θ} [\frac{1}{p_{θ}} \frac{d^{2} p_{θ}}{d θ} - （ \frac{1}{p_{θ}} \frac{d p_{θ}}{d θ} ）^{2}] \\ = \sum \frac{d^{2} p_{θ}}{d θ^{2}} - \sum p_{θ} （ \frac{1}{p_{θ}} \frac{d p_{θ}}{d θ} ）^{2} \\ = \underset{= 0}{\underset{⏟}{\frac{d^{2}}{d θ^{2}} \sum p_{θ}}} - \sum p_{θ} （ \frac{d}{d θ} ログ p_{θ} ）^{2} 。 \end{aligned}

$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$

— アブフラニル・ダス
ソース

4

次の論文の式（3）で同様の関係（1次元パラメーター）を見つけることができます。

D.グオ（2009）、相対エントロピーおよびスコア関数：任意の加法摂動による新しい情報と推定の関係、Proc。情報理論に関するIEEE国際シンポジウム、814〜818。（安定したリンク）。

著者は

S.カルバック、情報理論と統計学。ニューヨーク：ドーバー、1968。

この結果の証拠のために。

— プリモ・カルネラ
ソース

1

その論文の方程式（3）の多変量バージョンは、27〜28ページの引用されたカルバックテキストで証明されています。定数は、OPの質問で欠落しているようです。:)

1 / 2

$1/2$

— 枢機