タグ付けされた質問 「fisher-information」

単変量スチューデントのt分布に対して予想されるフィッシャーの情報マトリックスを導き出すリソースをオンラインで見つけるのに問題があります。誰かがそのようなリソースを知っていますか？ t分布に対して予想されるフィッシャーの情報マトリックスを導出する既存のリソースがない場合、私はそれを自分で導出しようとしていますが、行き詰まっています。これまでの私の仕事は次のとおりです。 yi∼t(μ,σ2,v)yi∼t(μ,σ2,v)y_i \sim t(\mu, \sigma^2, v)ここで、は自由度（df）パラメーターです（固定と仮定）。次に、 vvvf(yi)=Γ(v+12)Γ(v2)πvσ2−−−−√(1+1vσ2(yi−μ)2)−(v+1)2f(yi)=Γ(v+12)Γ(v2)πvσ2(1+1vσ2(yi−μ)2)−(v+1)2\begin{align*} f(y_i) &= \frac{\Gamma(\frac{v+1}{2})}{\Gamma(\frac{v}{2})\sqrt{\pi v \sigma^2}}\big(1+\frac{1}{v\sigma^2}(y_i-\mu)^2\big)^{\frac{-(v+1)}{2}} \end{align*} したがって、次の対数尤度関数があります。 logf(yi)=logΓ(v+12)−logΓ(v2)−12log(πvσ2)+−(v+1)2log[1+1vσ2(yi−μ)2]logf(yi)=logΓ(v+12)−logΓ(v2)−12log(πvσ2)+−(v+1)2log[1+1vσ2(yi−μ)2]\begin{align*} log f(y_i)=log\Gamma(\frac{v+1}{2})-log\Gamma(\frac{v}{2})-\frac{1}{2}log(\pi v \sigma^2)+ \frac{-(v+1)}{2}log\big[1+\frac{1}{v\sigma^2}(y_i-\mu)^2\big] \end{align*} ここで一次微分方程式： ∂∂μlogf(yi)=v+122vσ2(yi−μ)1+1vσ2(yi−μ)2∂∂σ2logf(yi)=−12σ2−(v+1)2−1vσ4(yi−μ)21+1vσ2(yi−μ)2∂∂μlogf(yi)=v+122vσ2(yi−μ)1+1vσ2(yi−μ)2∂∂σ2logf(yi)=−12σ2−(v+1)2−1vσ4(yi−μ)21+1vσ2(yi−μ)2\begin{align*} &\frac{\partial}{\partial \mu}logf(y_i)=\frac{v+1}{2}\frac{\frac{2}{v\sigma^2}(y_i-\mu)}{1+\frac{1}{v\sigma^2}(y_i-\mu)^2} \\ & \frac{\partial}{\partial \sigma^2}logf(y_i)= \frac{-1}{2\sigma^2}-\frac{(v+1)}{2} \frac{\frac{-1}{v\sigma^4}(y_i-\mu)^2}{1+\frac{1}{v\sigma^2}(y_i-\mu)^2} \end{align*} そしてここに2階微分方程式があります： ∂∂μ2l o gf（y私）= v +12− 2vσ2+2dv2σ4（y私- μ）2（ 1+ 1V σ2（y私- μ）2）2∂∂μ ∂σ2l ogf（y私）= v + 12{ …

8 probability  t-distribution  fisher-information 

サンプルの各メソッドの最初の反復を計算することにより、Newton-Raphsonテクニックとテクニックの違いを理解しようとしFisher scoringていBernoulliます。（私はこのケースでは、私は明示的に、すぐに計算できることを知っている、私は繰り返しそれを行うには、単に理解し、どのように各メソッドの収束を見たいです）。πmleπmle\pi_{mle} 私は、コインを描くとし回、実際のパラメータπ 、T = 0.3である私には不明、と私は4頭を得たので、ˉ X = 0.4。n=10n=10n=10πt=0.3πt=0.3\pi_t=0.3X¯=0.4X¯=0.4\bar{X}=0.4 スコア関数は次のとおりです。 u(π)=nX¯π−n(1−X¯)1−πu(π)=nX¯π−n(1−X¯)1−πu(\pi) = \frac{n\bar{X}}{\pi} - \frac{n(1-\bar{X})}{1-\pi} 観測された漁師情報は次のとおりです。 J(π)=−nX¯π2−n(1−X¯)(1−π)2J(π)=−nX¯π2−n(1−X¯)(1−π)2J(\pi) = -\frac{n\bar{X}}{\pi^2} - \frac{n(1-\bar{X})}{(1-\pi)^2} 予想される漁師情報は次のとおりです。 I(π)=nπtπ2+n(1−πt)(1−π)2I(π)=nπtπ2+n(1−πt)(1−π)2I(\pi) = \frac{n\pi_t}{\pi^2} + \frac{n(1-\pi_t)}{(1-\pi)^2} そして、私たちが期待フィッシャー情報を簡素化できることに注意してください我々がそれを評価する場合にのみ、π=πtπ=πt\pi = \pi_tが、それがどこにあるか、我々が知りません... 今、私の最初の推測があるとしπ0=0.6π0=0.6\pi_0 = 0.6 Newton-Raphson単にこのように行きます： π1=π0−u(π0)/J(π0)π1=π0−u(π0)/J(π0) \pi_1 = \pi_0 - u(\pi_0)/J(\pi_0) ？ そして、どうFisher-scoringですか？ π1=π0+u(π0)/I(π0)π1=π0+u(π0)/I(π0) \pi_1 = \pi_0 + u(\pi_0)/I(\pi_0) πtπt\pi_tπtπt\pi_tπmleπmle\pi_{mle} これら2つの方法を可能な限り具体的に示してくれませんか。ありがとう！

8 maximum-likelihood  fisher-information  fisher-scoring 

来週は、スコア関数とその分散（つまり、漁師情報）を生徒に教えます。 私は、これらの概念を説明し、生徒が理解できるようにする方法を探しています（クラスでよく行われているさまざまな分布についてそれらを計算するだけではありません）。 どんな提案も役に立ちます（スコア関数の背後にある直感とは何か、および尤度スコア関数101へのリンクを提供する以外に）

8 likelihood  teaching  fisher-information  scoring-rules 

フィッシャー情報は、2つの同等の方法で定義されます：の勾配の分散として ℓ(x)ℓ(x)\ell(x)、および予想される曲率のマイナスとして ℓ(x)ℓ(x)\ell(x)。前者は常に正なので、これは対数尤度関数の曲率がどこでも負であることを意味します。私が見てきたことをすべての分布は負の曲率の対数尤度関数を持っているので、これは、私にはもっともらしく思えるが、これは、なぜ私は表示されませんしなければならない場合も。

7 maximum-likelihood  likelihood  fisher-information