最尤コインパラメーター推定の期待値

コインを回投げるときに、コインパラメーター最尤推定値を計算したいコイントス実験があるとします。二項尤度関数の導関数計算した後、Iは最適値取得あると、は成功の数です。 $p$ $n$ $L(p) = { n \choose x } p^x (1-p)^{n-x}$ $p$ $p^{*} = \frac{x}{n}$ $x$

私の質問は次のとおりです。

この最尤推定の期待値/分散をどのように計算し $p$ ますか？
の期待値/分散を計算する必要があり $L(p^{*})$ ますか？
はいの場合、どうすればよいですか？

— マヌ
ソース

これはある種の独習だと思います（そのようにタグ付けする必要があります）。正確に何が欲しいですか？パラメータを推測しますか？

— pkofod 2014年

パラメータの推論とはどういう意味ですか？数量

の期待値/分散をどのように計算するのか、私にはまったくわかりません

p^{*}

$p^{*}$ 。つまり、平均/分散とは何か、簡単な例でそれを計算する方法は知っていますが、それを

に適用する方法がわかりません

p^{*}

$p^{*}$ 。

— Manu、2014年

回答:

まず、これは自習用の質問なので、技術的な詳細を少しずつ詳しく説明しますが、派生の狂乱についても説明しません。これを行うには多くの方法があります。最尤推定量の一般的なプロパティを使用して、お手伝いします。

背景情報

あなたの問題を解決するには、最初から最尤法を研究する必要があると思います。あなたはおそらく何らかの教科書を使用していて、答えは本当にどこかにあるはずです。あなたが何を探すべきかを見つけるのを手伝います。

最尤法は、基本的にM推定器と呼ばれる推定方法です（「M」を「最大化/最小化」と考えてください）。これらのメソッドを使用するために必要な条件が満たされている場合、パラメーター推定が一貫しており、漸近的に正規分布していることを示すことができるため、次のようになります。

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1} B_{0} A_{0}^{- 1}),

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}B_0A_0^{-1}),$

ここで、とはいくつかの行列です。最尤法を使用すると、と表示できるため、次のような単純な式が得られます。我々はそれを持っているどこヘッセ行列を表します。これは、分散を取得するために推定する必要があるものです。 $A_0$ $B_0$ $A_0=B_0$

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1}) .

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}).$

A_{0} \equiv - E (H (θ_{0}))

$A_0\equiv -E(H(\theta_0))$

H

$H$

あなたの特定の問題

それでは、どうすればよいでしょうか。ここで、パラメーターベクトル何と呼ぶかを考えましょう：。これは単なるスカラーなので、「スコア」は導関数であり、「ヘシアン」は2次導関数です。尤度関数は次のように書くことができます：これは最大化したいものです。これの1次導関数または対数尤度を使用してを見つけました。1次導関数をゼロに設定する代わりに、再度微分して2次導関数を見つけることができます。最初にログを取得します：次に、「スコア」はと私たちの「ヘシアン」： $\theta$ $p$

l (p) = (p)^{x} (1 - p)^{n - x},

$l(p)=(p)^x (1-p)^{n-x},$

p^{*}

$p^*$

H (p)

$H(p)$

l l (p) \equiv \log (l (p)) = x \log (p) + (n - x) \log (1 - p)

$ll(p)\equiv\log(l(p))=x\log(p)+(n-x)\log(1-p)$

l l^{'} (p) = \frac{x}{p} + \frac{n - x}{1 - p},

$ll'(p)=\frac{x}{p}+\frac{n-x}{1-p},$

H (p) = l l^{″} (p) = - \frac{x}{p^{2}} - \frac{n - x}{(1 - p)^{2}} .

$H(p)=ll''(p)=-\frac{x}{p^2}-\frac{n-x}{(1-p)^2}.$ 次に、上記の一般的な理論は、を見つけるように指示するだけです。ここで、期待値（ヒント：）を取り、を掛けてその逆をとる必要があります。次に、推定量の分散が得られます。

(- E (H (p)))^{- 1}

$(-E(H(p)))^{-1}$

H (p)

$H(p)$

E (x / n) = p

$E(x/n)=p$

- 1

$-1$

— pkofod
ソース

ある正しいですか？

V a r (p) = \frac{p^{2} - 1}{n} - \frac{1}{n p}

$Var(p) = \frac{p^2-1}{n} - \frac{1}{np}$

— Manu、2014年

@Manu：違いますが、どこかで少しエラーを起こしたようです。さらにいくつかのステップを投稿できますか？

— pkofod 2014年

(- E (H (p)))^{- 1} = E (- H (p))^{- 1]} = (E (\frac{x}{p^{2}}) + E (\frac{n - x}{(1 - p)^{2}}))^{- 1} = (p^{- 2} n p + (1 - p)^{- 2} (n - n p))^{- 1}

$(-E(H(p)))^{-1} = E(-H(p))^{-1]} = (E(\frac{x}{p^2}) + E(\frac{n-x}{(1-p)^2}))^{-1} = ( p^{-2}np + (1-p)^{-2}(n -np) )^{-1}$ 。そこから私は、乗算と逆を行うことで単純化しました。

— Manu、2014年

それはすべて正しいですが、今は単純化してください。最初の部分ではpがキャンセルされ、2番目の部分では括弧の外でnを使用できます。

— pkofod 2014年

(n / p + n / [1 - p])^{- 1}

$(n/p+n/[1-p])^{-1}$ はあなたが上に持っているものです。因数分解し、共通の分母を置いて、逆数を取ります。

n

$n$

— ekvall 2014年

最初に、期待値を実行してみましょう。

が回のスローの成功数である場合、はサンプルの成功の割合です。検討してください。スローごとに、成功の確率は仮定に従ってであるため、コインを一度投げると、予想される「成功の数」はになりますよね？したがって、コインを回投げると、投げは独立しているため、回の成功が期待されます。次に、は回のスローで予想される成功回数であるため、 $x$ $n$ $x/n$ $\mathbb{E}x$ $p$ $p\times1+(1-p)\times 0=p$ $n$ $np$ $np$ $n$

E p^{*} = E n^{- 1} x = n^{- 1} E x = n^{- 1} \times n p = p

$\mathbb{E}p^*=\mathbb{E}n^{-1}x=n^{-1}\mathbb{E}x=n^{-1}\times np=p$

したがって、推定量は公平です。ここからの違いをどうやって理解できますか？

編集：分散も行いましょう。このます。：我々はまだのは、最初のやら、期待値の計算から持っている第二項一部を簡素化することを、回のスローの成功回数を次のように表すことができます：ここで、は、スローが成功した場合は値1、それ以外の場合は0になります。したがって、と、到達し。 $\text{Var}(p^*)=\mathbb{E}p{^*}^2-(\mathbb{E}p{^*})^2$

E p {^{*}}^{2} = n^{- 2} E x^{2}

$\mathbb{E}p{^*}^2=n^{-2}\mathbb{E}x^2$

n

$n$

x = \sum_{1}^{n} χ_{i},

$x=\sum_1^n\chi _i,$

χ_{i}

$\chi_i$

i

$i$

E x^{2} = E (\sum_{1}^{n} χ_{i})^{2} = E [\sum_{1}^{n} χ_{i}^{2} + 2 \sum_{i < j} χ_{i} χ_{j}] = n p + n (n - 1) p^{2},

$\mathbb{E}x^2=\mathbb{E}(\sum_1^n\chi _i)^2=\mathbb{E}[\sum_1^n\chi _i^2+2\sum_{i<j}\chi _i\chi_j]=np+n(n-1)p^2,$

Var (p^{*}) = \frac{p (1 - p)}{n}

$\text{Var}(p^*)=\frac{p(1-p)}{n}$

— エクヴァル
ソース

ヘッドを続けて投げた場合、ます。しかし、Var（）はどのような正確な値をとりますか？

n = 3

$n=3$

p_{M L E} = 1.0

$p_{MLE} =1.0$

p^{*}

$p^*$

— piccolo