MLEの変換の標準誤差をどのように計算しますか？

正のパラメーターについて推論する必要があります。肯定性を吸収するために、私はを再パラメーター化しました。MLEルーチンを使用して、ポイント推定と seを計算しました。MLEの不変性プロパティは、点推定を直接提供しますが、 seを計算する方法がわかりません。提案や参照については、事前に感謝します。 $p$ $p=\exp(q)$ $q$ $p$ $p$

maximum-likelihood standard-error delta-method

— マルセル
ソース

同じMLEルーチンを使用して、ポイント推定と seを直接計算できませんか？

p

$p$

— whuber

回答:

このためにデルタ法が使用されます。いくつかの基準では規則性の仮定、我々は知っているMLE、のための約（すなわち漸近的）として配布されています $\hat{\theta}$ $\theta$

\hat{θ} \sim N (θ, I^{- 1} (θ))

$\hat{\theta} \sim N(\theta, \mathcal{I}^{-1}(\theta))$

ここで、はサンプル全体のフィッシャー情報の逆数であり、で評価され、は平均の正規分布を表します and variance。機能不変 MLEのは、MLEと言う、ここで、いくつかの既知の関数である（あなたが指摘したように）と近似分布を有します $\mathcal{I}^{-1}(\theta)$ $\theta$ $N(\mu,\sigma^{2})$ $\mu$ $\sigma^{2}$ $g(\theta)$ $g$ $g(\hat{\theta})$

g (\hat{θ}) \sim N (g (θ), I^{- 1} (θ) [g^{'} (θ)]^{2})

$g(\hat{\theta}) \sim N( g(\theta), \mathcal{I}^{-1}(\theta) [g'(\theta)]^{2} )$

ここで、未知の量に対する一貫した推定量をプラグインできます（つまり、が分散に現れるプラグインします）。あなたが持っている標準エラーはフィッシャーの情報に基づいていると思います（MLEがあるため）その標準誤差をます。次に、例のように、の標準エラーは $\hat{\theta}$ $\theta$ $s$ $e^{\hat{\theta} }$

\sqrt{s^{2} e^{2 \hat{θ}}}

$\sqrt{s^{2}e^{2 \hat{\theta}}}$

私はあなたを逆に解釈しているかもしれませんが、実際には、のMLEの分散があり、 MLEの分散が必要です。この場合、標準は $\theta$ $\log(\theta)$

\sqrt{s^{2} / {\hat{θ}}^{2}}

$\sqrt{ s^{2}/\hat{\theta}^{2} }$

— 大きい
ソース

余談ですが、適切な多変量拡張もあり、それによって導関数が勾配に置き換えられます。乗算は行列乗算でなければならないため、転置がどこにあるかを理解するのに少し頭痛がします。

— StasK 2011

StasKを指摘していただきありがとうございます。多変量のケースでは、の漸近共分散は

g (\hat{θ})

$g(\hat{\theta})$

\nabla g (θ)^{'} I (θ)^{- 1} \nabla g (θ)

$\nabla g(\theta)' \mathcal{I}(\theta)^{-1} \nabla g(\theta)$

— マクロ

（+1）OPの問題でこれらが満たされているかどうかが明確でないため、規則性の仮定（およびその他いくつかのこと）へのリンクを追加しました。収束率が時々遅くなる可能性があるため、は漸近的に正常であり、ほぼ正常ではないと言ったかもしれません。

\hat{θ}

$\hat{\theta}$

— MånsT

@MånsTに感謝します。私がおよそ言ったとき、私が漸近的に意味したことも明確にしました:)

— Macro

マクロは、デルタ法で標準誤差を変換する方法について正しい答えを出しました。OPは特に標準誤差を要求しましたが、その目的は信頼区間を生成することであると思います。推定標準誤差を計算することに加えてあなたが直接信頼区間を変換することができ、において、信頼区間に-parametrizationに -parametrization。これは完全に有効であり、標準誤差に基づいて信頼区間を正当化するために使用される通常の近似が -parametrization対 $p$ $\hat{p}$ $[q_1, q_2]$ $q$ $[\exp(q_1), \exp(q_2)]$ $p$ $q$ $p$ -parametrization。さらに、直接変換された信頼区間は、陽性の制約を満たします。

— NRH
ソース