フィッシャーのスコア関数は平均ゼロを持っています-それはどういう意味ですか？

尤度理論のプリンストンのレビューに従っています。彼らFisher’s score functionは、対数尤度関数の1次導関数として定義し、スコアはランダムなベクトルであると言います。例：幾何分布：

あなた （ π ） = ん （ \frac{1}{π} - \frac{\bar{y}}{1 - π} ）

$u(\pi) = n\left(\frac{1}{\pi} - \frac{\bar{y}}{1-\pi} \right)$

そして、それは確かに（パラメータ）関数であり、含むためランダムです。 $\pi$ $\bar{y}$

しかし、彼らは私が理解していないことを言います：「真のパラメーター値評価されたスコアは平均ゼロです」と彼らはそれをとして公式化し。「真のパラメータ値」で評価して、その平均を見つけるとはどういう意味ですか？そして、幾何学的な例では、アイデンティティすると、すぐに？「真のパラメータ値」はこれとどのように関係していますか？ $\pi$ $E(u(\pi)) = 0$ $E(y) = E(\bar{y}) = \frac{1-\pi}{\pi}$ $E(u(\pi)) = 0$

likelihood geometric-distribution fisher-scoring

— イハダニー
ソース

いくつかの関連記事： stats.stackexchange.com/questions/112451/... stats.stackexchange.com/questions/196576/... stats.stackexchange.com/questions/200946/...

— HalvorsenのはKjetil B

回答:

スコア関数を指摘したように $u$ は、適切な規則性条件下で、「対数尤度関数の1次導関数」として定義されます。

としましょう $X$ 密度関数を持つ確率変数です $f(x)$ 。通常、この密度はパラメーターのベクトルに応じて変化します $\pi$ 。したがって、密度関数を次のように書くと便利です。 $f(x;\pi)$ パラメータへの依存関係を明示的にします。の「真の」値が $\pi$ 確率変数 $X$ です $\pi = \pi_0$ 。（つまり、 $X \sim f(\;\cdot\;;\pi_0)$ ）

スコア関数は次のように書くことができます：

あなた （ π; バツ ） = \frac{\partial}{\partial π} ログ f （ バツ; π ） 、

$u(\pi;x) = \frac{\partial}{\partial\pi}\log f(x;\pi),$ そして、それは両方の機能であることは明らかです

x

$x$ との

π

$\pi$ 。（あなたの質問では

L

$L$ 代わりに

f

$f$ 、しかし尤度関数は密度関数に過ぎないため、違いはありません。）

今確率変数を考えてください $u(\pi,X)$ そしてその期待 $\xi(\pi) = \mathbb{E_{\pi_0}}(u(\pi,X))$ 。ここで、下付き文字に注意することが重要です $\pi_0$ の分布の（真の）パラメータを示すためにあります $X$ そしてそれを価値から区別する $\pi$ 計算に使用している $u$ 。

仮定して $f$ 連続密度です（離散ケースも同様です）。

ξ （ π ） = \int_{- \infty}^{+ \infty} （ \frac{\partial}{\partial π} ログ f （ バツ; π ） ） f （ バツ; π_{0} ） d バツ = \int_{- \infty}^{+ \infty} \frac{f^{』} （ バツ; π ）}{f （ バツ; π ）} f （ バツ; π_{0} ） d バツ

$\xi(\pi) = \int_{-\infty}^{+\infty}\left(\frac{\partial}{\partial\pi}\log f(x;\pi)\right)f(x;\pi_0)dx = \int_{-\infty}^{+\infty}\frac{f'(x;\pi)}{f(x;\pi)}f(x;\pi_0)dx$

そしてあなたが評価するとき $\xi$ 真のパラメータ値 $\pi_0$ 我々が得る：

ξ （ π_{0} ） = \int_{- \infty}^{+ \infty} \frac{f^{』} （ バツ; π_{0} ）}{f （ バツ; π_{0} ）} f （ バツ; π_{0} ） d バツ = \int_{- \infty}^{+ \infty} f^{』} （ バツ; π_{0} ） d バツ

$\xi(\pi_0) = \int_{-\infty}^{+\infty}\frac{f'(x;\pi_0)}{f(x;\pi_0)}f(x;\pi_0)dx = \int_{-\infty}^{+\infty}f'(x;\pi_0)dx$

= \frac{\partial}{\partial π} \int_{- \infty}^{+ \infty} f （ バツ; π_{0} ） d バツ = 0

$=\frac{\partial}{\partial\pi}\int_{-\infty}^{+\infty}f(x;\pi_0)dx = 0$

これが、真のパラメーターで期待値がゼロであるスコア関数の背後にある理由です。

このような本（第3章）を見て、それらの派生（微分と積分の交換など）が成立する条件をより深く理解する必要があります。

— Mur1lo
ソース

ありがとう！しかし、まだ別の値をプラグインするとなぜそれが0にならないのかわかりません

π_{1}

$\pi_1$ ？積分wrtを切り替える同じトリックを使用することはできませんか

x

$x$ と派生wrt

π

$\pi$ ？

— ihadanny

ξ (π_{1}) = \int \frac{f^{'} (x; π_{1})}{f (x; π_{1})} f (x; π_{0}) d x

$\xi(\pi_1)=\int\frac{f'(x;\pi_1)}{f(x;\pi_1)}f(x;\pi_0)dx$ そして今、私たちは分母をキャンセルすることができません

π_{1} \neq π_{0}

$\pi_1\neq\pi_0$ 。

— Mur1lo

別の質問-あなたの答えでは、単一の観測のスコア関数またはn個の観測のサンプル全体のスコア関数を意味しましたか？

— ihadanny

@ihadannyサンプルはランダム変数の単一の実現として見ることができるため、違いはありません

R^{n}

$\mathbb{R}^n$ 。

— Mur1lo 2016

これは、この問題について私が見た中で最も明確な証拠です。ありがとうございました！:)

— jjepsuomi 2018年

わかりました。すばらしい@ Mur1loの回答のおかげで、私は理解が深まり、この抽象的な概念をできる限り具体的にするために私自身の試みをしたいと思います。

5つのコインの引き分け結果のサンプルがあるとします。これらは、真のパラメーターを持つベルヌーイ分布を持つ母集団からサンプリングされたと仮定 $\pi_0$ 。

結果とともに特定のコインの引き分けを見ると $x_3=1$ 、この患者がベルヌーイ分布からサンプリングされたすべての種類のパラメーター値を使用して、対数尤度を計算できます。 $\pi = 0.2$ または $\pi=0.9$ 等々。したがって、対数尤度は、 $x_3$ 可能な各値について $\pi$ 。

L L （ π | {バツ}_{３} ） = {バツ}_{３} l ん （ π ） + （ 1 - {バツ}_{３} ） l ん （ 1 - π ）

$LL(\pi|x_3) = x_3ln(\pi) + (1-x_3)ln(1-\pi)$

これは単に $x_3=1$ その可能性は $\pi$ それが0の場合、その可能性は $1-\pi$ 。

コインドロー間の独立性を仮定すると、n = 5のコインドローのサンプル全体の対数尤度を表す「平均」関数が得られます。

L L （ π | バツ ） = Σ {バツ}_{私} l ん （ π ） + （ ん - Σ （ {バツ}_{私} ） ） l ん （ 1 - π ）

$LL(\pi|X) = \sum{x_i}ln(\pi) + (n-\sum(x_i))ln(1-\pi)$

の最大値を見つけたい $LL(\pi|X)$ - MLE = $\pi_{mle}$ 。

スコア関数 $u(\pi)$ 対数尤度の各パラメーターに関する導関数のベクトルです。幸いなことに、私たちの場合、パラメータは1つしかないため、これは単純なスカラーです。いくつかの条件の下で、それは私たちが見つけるのに役立ちます $\pi_{mle}$ 、その時点でスコア関数は $u(\pi_{mle}) = 0$ 。単一の観測（コインドロー）の観測スコア関数を計算できます。

u (π | x_{3}) = \frac{x_{3}}{π} - \frac{1 - x_{3}}{1 - π}

$u(\pi|x_3) = \frac{x_3}{\pi} - \frac{1-x_3}{1-\pi}$

n = 5の患者のサンプルスコア関数：

u (π | X) = \frac{\sum x_{i}}{π} - \frac{n - \sum x_{i}}{1 - π}

$u(\pi|X) = \frac{\sum{x_i}}{\pi} - \frac{n-\sum{x_i}}{1-\pi}$

この最新の関数を0に設定すると、 $\pi_{mle}$ 。

ただし、特定の5抽選サンプルは、スコア関数の期待とは関係ありません。期待値は、xのすべての可能な値に対する観測スコア関数の値に、その値の確率である密度関数を掛けたものです。私たちの場合、xは0と1の2つの値のみを取ることができます。そして密度関数は、パラメーターを持つベルヌーイであると想定したとおりです。 $\pi_0$ ：

E (u (π | x_{i})) = \sum_{x} (\frac{x}{π} - \frac{1 - x}{1 - π}) π_{0}^{x} (1 - π_{0})^{1 - x} = \frac{π_{0}}{π} - \frac{1 - π_{0}}{1 - π}

$E(u(\pi|x_i)) = \sum_x (\frac{x}{\pi} - \frac{1-x}{1-\pi}) \pi_0^x(1-\pi_0)^{1-x} = \frac{\pi_0}{\pi} - \frac{1-\pi_0}{1-\pi}$

真のパラメータで評価するとゼロになることは明らかです $\pi_0$ 。直感的な解釈は次のとおりです。 $\pi$ 、尤度の平均変化率はどれくらいですか？

情報行列は、どのように敏感な私たちのソリューションは、さまざまなデータになります-可能性の分散をですか？（この回答を参照してください）。

I (π | x_{i}) = v a r (u (π | x_{i})) = v a r (\frac{x_{i}}{π} - \frac{1 - x_{i}}{1 - π}) = v a r (\frac{x_{i} - π}{π (1 - π)}) = \frac{v a r ({バツ}_{私} ）}{π^{2} （ 1 - π ）^{2}} = \frac{π_{0} （ 1 - π_{0} ）}{π^{2} （ 1 - π ）^{2}}

$I(\pi|x_i) = var(u(\pi|x_i)) = var(\frac{x_i}{\pi} - \frac{1-x_i}{1-\pi}) = var(\frac{x_i-\pi}{\pi(1-\pi)}) = \frac{var(x_i)}{\pi^2(1-\pi)^2} = \frac{\pi_0(1-\pi_0)}{\pi^2(1-\pi)^2}$

真のパラメータで評価されたとき $\pi_0$ 次のように簡素化されます。

私 （ π_{0} | {バツ}_{私} ） = \frac{1}{π_{0} （ 1 - π_{0} ）}

$I(\pi_0|x_i) = \frac{1}{\pi_0(1-\pi_0)}$

（詳細については、ワシントンeduのノートを参照してください）。

驚くべきことに、特定の可能性がどれほど敏感であるかを測定する別の方法があります $\pi$ ！これは、曲率の期待値=ヘッセ行列= 2次導関数です。可能性が急であればあるほど、より正確になります。マーク・リードのブログで詳細をご覧ください

— イハダニー
ソース