最尤推定の標準誤差とはどういう意味ですか？

私は数学の自己学習統計であり、特に言語に苦労しています。

私が使用している本には、次の問題があります。

ランダム変数はとして与えられ分布し。（もちろん、この問題のために1つのパラメータに応じて、任意の分布を取ることができる。）次に、5つの値のサンプル、、、、与えられます。 $X$ $\text{Pareto}(\alpha,60)$ $\alpha>0$ $14$ $21$ $6$ $32$ $2$

最初の部分は、「最尤の方法を使用して、推定検索の [サンプル]に基づきます。」これは問題ありませんでした。答えは。 $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

しかし、その後：「の標準誤差の推定値付け。」 $\hat{\alpha}$

これはどういう意味ですか？以来ちょうど固定実数で、私はそれが標準誤差を持っている可能性がどのような方法では表示されません。標準偏差を決定するアムI ？ $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

質問が明確でないと思われる場合は、この情報も役立ちます。

maximum-likelihood

— ステファン
ソース

60

$60$ は何を表していますか？

— アレコスパパドプロ14

あなたがのための式はあります

？これは、標準誤差を推定するのに役立ちます。

\hat{α}

$\hat \alpha$

— soakley

@Glen_bしかし、それが下限である場合、実現されたサンプルのすべての値がどのように小さくなるのでしょうか？

— アレコスパパドプロス14

@Alecosそれは素晴らしい点です。私のコメントは意味がありません。削除しました。

— Glen_b-モニカを復活させる14

@Alecos：

濃度と分布であり

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$

。

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

— ステファン14

回答:

もう1つの答えは、標準エラーの導出について説明したものです。表記法について説明します。

混乱の原因は、StatisticsでEstimator（関数）を示すためにまったく同じ記号を使用し、特定の推定値（特定の実現サンプルを入力として受け取ったときに推定器が取得する値）を使用することです。

そう及びのために $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ 。だから、確率変数自体確率変数のので、機能は確かに差異があること、です。 $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

ML推定では、推定器の有限サンプル分布が不明である（導出できない）ため、多くの場合、計算できるのは漸近標準誤差です。

厳密に言えばそれは実数（ML推定のほぼすべてのケースで、真数）に収束するので、漸近分布を持っていません。しかし、量 $\hat \alpha$ 収束（中心極限定理の適用によって）正規確率変数です。 $\sqrt n (\hat \alpha - \alpha)$

表記上の混乱の第二の点：ほとんど、そうでない場合は、すべてのテキストが、書き込みます、彼らが何をしながら、（「アヴァール」=漸近分散」）を意味している $\text {Avar}(\hat \alpha)$ 、それらは量の漸近分散を指し、すなわち、 $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ 、ないの ...我々が持っている基本的なパレート分布の場合には $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{n} (\hat{α} - α)] = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

そのため

Avar (\hat{α}) = α^{2} / n

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

（しかし、何が書かれていますことはあり） $\text {Avar}(\hat \alpha ) = \alpha^2$

さて、どのように見積もりセンス言ったように、漸近的にそれが一定に収束するので、「漸近分散」を持っていますか？まあ、おおよその意味で、大きいが有限のサンプルの場合。すなわち、推定器が（通常）未知の分布をもつランダム変数である「小さな」サンプルと、推定器が定数である「無限」のサンプルのどこかに、この「大きいが有限のサンプル領域」があります。推定器はまだ定数になっておらず、その分布と分散はラウンドアバウト方法で導出されます。最初に中央極限定理を使用して、量適切な漸近分布を導出します。 $\hat \alpha$ 、およびその後の周りのものを回すと書き込み（通常CLTによるものである） $Z = \sqrt n (\hat \alpha - \alpha)$ （ワンステップバックを取り、処理しながら、有限のように）かを示し正規確率変数のアフィン関数として、およびので、通常（常に略）自体を配布しました。 $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

— アレコスパパドプロス
ソース

区別するための1

と

\hat{α}

$\hat{\alpha}$

-確かに表記は矛盾することができます。

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

— ネイト教皇

-最尤推定量は、 -ランダムなサンプルの関数であり、そのため（固定されていない）もランダムです。標準誤差の推定値、フィッシャー情報から得ることができ $\hat{\alpha}$ $\hat{\alpha}$

I (θ) = - E [\frac{\partial^{2} L (θ | Y = y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

$\theta$ $\mathcal{L}(\theta|Y = y)$ $\theta$ $y$ $y$ $\theta$

$\mathrm{Pareto}(\alpha,y_0)$ distribution with a single realization $Y = y$ , the log-likelihood where $y_0$ is known:

\begin{aligned} L (α | y, y_{0}) & = \log α + α \log y_{0} - (α + 1) \log y \\ L^{'} (α | y, y_{0}) & = \frac{1}{α} + \log y_{0} - \log y \\ L^{″} (α | y, y_{0}) & = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$ Plugging in to the definition of Fisher information,

I (α) = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$ For a sample

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$ The maximum likelihood estimator

\hat{α}

$\hat{\alpha}$ is asymptotically distributed as:

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) = N (α, \frac{α^{2}}{n}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$ Where

n

$n$ is the sample size. Because

α

$\alpha$ is unknown, we can plug in

\hat{α}

$\hat{\alpha}$ to obtain an estimate the standard error:

S E (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / n} \approx \sqrt{{4.6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

— Nate Pope
ソース

For your second to last line,

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$ , it doesn't appear the notation is correct. If

n \to \infty

$n \to \infty$ , then

n

$n$ can't appear on the right side. Instead, you want

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$

— user321627