整数パラメーターの最尤推定値を見つける方法は？

ハードウェアの質問：

$x_1,x_2,\ldots,x_n$は、平均および分散持つ独立したガウス変数です。定義不明です。からを推定することに関心があります。$\mu$$\sigma^2$$y = \sum_{n=1}^{N} x_n$$N$$N$$y$

a。与えられた がそのバイアスと分散を決定します。$\hat N_1 = y/\mu$

b。与えられたがそのバイアスと分散を決定します。$\hat N_2 = y^2/\sigma^2$

が整数であることの要件を無視する$N$

c。効率的な推定器はありますか（と両方を見てください）？$\mu = 0$$\mu \ne 0$

d。から最尤推定値をます。$N$$y$

e。から CRLBを求めます。$N$$y$

f。推定量の平均二乗誤差は、ときにCRLBに達しますか？$\hat N_1,\hat N_2$$N\to \infty$

誰かが私を次の問題の解決に導くことができればそれは素晴らしいでしょう。

おかげで、

ナダブ

可能性の表現を書き留めることから始めました。 ことを認識することが単純であるの合計であるの独立したノーマル変数、平均して正規分布持っと分散をその可能性があるそこ$Y,$$N$$(\mu,\sigma^2)$$N\mu$$N\sigma^2,$

$$\mathcal{L}(y,N) = \frac{1}{\sqrt{2\pi N\sigma^2}} \exp\left(-\frac{(y-N\mu)^2}{2N\sigma^2}\right).$$

負の対数してみましょうその最小値は尤度の最大値に対応します。$\Lambda = -\log \mathcal{L},$

$$2\Lambda(N) = \log(2\pi) + \log(\sigma^2) + \log(N) + \frac{(y-N\mu)^2}{N\sigma^2}.$$

この式を最小化するすべての整数を見つける必要があります。が任意の正の実数である可能性があることを 少しの間見せます。このように、の連続微分可能関数である誘導体とは$N$$2\Lambda$$N$

$$\frac{d}{dN} 2\Lambda(N) = \frac{1}{N} - \frac{(y-N\mu)^2}{\sigma^2N^2} - \frac{2\mu(y-N\mu)}{N\sigma^2}.$$

これをゼロに等しくして臨界点を探し、分母をクリアし、少し代数を実行して結果を単純化します。

$$\mu^2 N^2 + \sigma^2 N -y^2 = 0\tag{1}$$

一意の正の解を使用して（）$\mu\ne 0$

$$\hat N = \frac{1}{2\mu^2}\left(-\sigma^2 + \sqrt{\sigma^4 + 4\mu^2 y^2}\right).$$

が近づくか大きくなると、が大きくなることを確認するのは簡単です。したがって、近くにも近くにもグローバル最小値がないことがわかり それは、私たちが見つけた唯一の重要なポイントを残します。したがって、それはグローバルな最小値でなければなりません。さらに、は、が下または上から近づくにつれて減少する必要があります。したがって、$N$$0$$2\Lambda(N)$$N\approx 0$$N\approx \infty.$$2\Lambda$$\hat N$

のグローバル最小値は、両側の2つの整数の間にある必要があります$\Lambda$$\hat N.$

これにより、最尤推定量を見つけるための効果的な手順が得られます。これは、の床または天井（または場合によっては両方）なので、を計算し、これらの整数のどれを選択するだけで最小。$\hat N$$\hat N$$2\Lambda$

一時停止して、この結果が理にかなっていることを確認しましょう。 2つの状況で直感的な解決策があります。

1. ときよりはるかに大きい、近くにあることを行っているのまともな見積もりどこから単にだろう そのような場合、無視してMLEを近似し、（期待どおり）$\mu$$\sigma$$Y$$\mu,$$N$$|Y/\mu|.$$\sigma^2,$

   $$\hat N = \frac{1}{2\mu^2}\left(-\sigma^2 + \sqrt{\sigma^4 + 4\mu^2 y^2}\right) \approx \frac{1}{2\mu^2}\sqrt{4\mu^2 y^2} = \left|\frac{y}{\mu}\right|.$$

2. ときよりもはるかに大きいあらゆる場所に普及することが、可能性があり、平均して近くにある必要がありの直感的な見積もりどこから単にだろう 実際、式でを無視すると、期待される解$\sigma$$\mu,$ $Y$ $Y^2$$\sigma^2,$$N$$y^2/\sigma^2.$$\mu$$(1)$

   $$\hat N \approx \frac{y^2}{\sigma^2}.$$

どちらの場合も、MLEは直感に一致しており、おそらく正しく機能したことを示しています。興味深い状況は、その後、ときに発生と同等のサイズです。ここでは直感はほとんど役に立ちません。$\mu$$\sigma$

---

これをさらに調査するために、私はがまたは である3つの状況をシミュレートしましたが何であっても（それがゼロでない限り）問題ではないため、 それぞれの状況で、の場合のランダムを生成し、これを独立して5000回繰り返しました。$\sigma/\mu$$1/3,$ $1,$$3.$$\mu$$\mu=1.$$Y$$N=2,4,8,16,$

これらのヒストグラムは、のMLEを要約します。垂直線はの真の値を示します。$N$$N$

平均して、 MLEはほぼ正しいようです。とき比較的小さい、MLEは正確になる傾向がある。一番上の行の狭いヒストグラムを示すものだという。とき MLEはかなり不確実です。とき MLEはしばしば可能、時には数回することができ（特に小さいです）。これらの観察は、前述の直感的な分析で予測されたものと一致しています。$\sigma$$\sigma \approx |\mu|,$$\sigma \gg |\mu|,$$\hat N=1$$N$$N$

---

シミュレーションの鍵は、MLEを実装することです。を 解くだけでなく、および特定の値についてを評価する必要があります ここで反映されている唯一の新しいアイデアは、 の両側の整数をチェックすることです関数の最後の2行は、対数尤度を評価する助けを借りて、この計算を実行します。$(1)$$\Lambda$$Y,$ $\mu,$$\sigma.$$\hat N.$flambda

lambda <- Vectorize(function(y, N, mu, sigma) {
  (log(N) + (y-mu*N)^2 / (N * sigma^2))/2
}, "N") # The negative log likelihood (without additive constant terms)

f <- function(y, mu, sigma) {
  if (mu==0) {
    N.hat <- y^2 / sigma^2
  } else {
    N.hat <- (sqrt(sigma^4 + 4*mu^2*y^2) - sigma^2) / (2*mu^2)
  }
  N.hat <- c(floor(N.hat), ceiling(N.hat))
  q <- lambda(y, N.hat, mu, sigma)
  N.hat[which.min(q)]
} # The ML estimator

whuberが彼の優れた答えで使用した方法は、尤度関数を拡張して実際の値を許可し、次に対数尤度の凹面を使用して離散最大化値が連続最適値の両側の離散値。これは、凹状の対数尤度関数を含む離散MLE問題で一般的に使用される方法の1つです。その値は、通常、連続最適化のための単純な閉形式の式を取得できるという事実にあります。$N$

完全を期すために、この回答では、前方差分演算子を使用して離散計算を使用する別の方法を示します。この問題の対数尤度関数は、離散関数です。

$$\ell_y(N) = -\frac{1}{2} \Bigg[ \ln (2 \pi) + \ln (\sigma^2) + \ln (N) + \frac{(y-N\mu)^2}{N\sigma^2} \Bigg] \quad \quad \quad \text{for } N \in \mathbb{N}.$$

対数尤度の最初の前方差は次のとおりです。

$$\begin{equation} \begin{aligned} \Delta \ell_y(N) &= -\frac{1}{2} \Bigg[ \ln (N+1) - \ln (N) + \frac{(y-N\mu - \mu)^2}{(N+1)\sigma^2} - \frac{(y-N\mu)^2}{N\sigma^2} \Bigg] \\[6pt] &= -\frac{1}{2} \Bigg[ \ln \Big( \frac{N+1}{N} \Big) + \frac{N(y-N\mu - \mu)^2 - (N+1)(y-N\mu)^2}{N(N+1)\sigma^2} \Bigg] \\[6pt] &= -\frac{1}{2} \Bigg[ \ln \Big( \frac{N+1}{N} \Big) + \frac{[N(y-N\mu)^2 -2N(y-N\mu) \mu + N \mu^2] - [N(y-N\mu)^2 + (y-N\mu)^2]}{N(N+1)\sigma^2} \Bigg] \\[6pt] &= -\frac{1}{2} \Bigg[ \ln \Big( \frac{N+1}{N} \Big) - \frac{(y + N \mu)(y-N\mu) - N \mu^2}{N(N+1)\sigma^2} \Bigg]. \\[6pt] \end{aligned} \end{equation}$$

代数を少し使用すると、2番目の前方差分は次のようになります。

$$\begin{equation} \begin{aligned} \Delta^2 \ell_y(N) &= -\frac{1}{2} \Bigg[ \ln \Big( \frac{N+2}{N} \Big) + \frac{2 N (N+1) \mu^2 + 2(y + N \mu)(y-N\mu)}{N(N+1)(N+2)\sigma^2} \Bigg] < 0. \\[6pt] \end{aligned} \end{equation}$$

これは、対数尤度関数が凹型であることを示しているため、その最小化最大点は次のようになります。$\hat{N}$

$$\begin{equation} \begin{aligned} \hat{N} &= \min \{ N \in \mathbb{N} | \Delta \ell_y(N) \leqslant 0 \} \\[6pt] &= \min \Big\{ N \in \mathbb{N} \Big| \ln \Big( \frac{N+1}{N} \Big) \geqslant \frac{(y + N \mu)(y-N\mu) - N \mu^2}{N(N+1)\sigma^2} \Big\}. \end{aligned} \end{equation}$$

（次の値は、場合に限り、最大化ポイントになり。）MLE（最小セットまたはセット全体）は、単純な関数を介して関数としてプログラムできます。ループし、これはあなたにかなり迅速に解決策を与えることができるはずです。プログラミングの部分は演習のままにしておきます。$\Delta \ell_y(\hat{N}) = 0$while

コメント： Rでの簡単なシミュレーションは次のとおりです これは、平均とSDを近似する2または3桁の精度ある必要がありますとを見つけることができるはずです 以前のコメントで示したように、基本的な分析メソッド。私たちが持っていた場合は、その後のために公平なようである$\mu = 50, \sigma = 3,$$Y.$$E(Y)$$Var(Y)$$N = 100$$E(\hat N)$$N.$

N = 100;  mu = 50;  sg = 3
y = replicate( 10^6, sum(rnorm(N, mu, sg))/mu )
mean(y);  sd(y)
[1] 99.99997
[1] 0.6001208
N.est = round(y);  mean(N.est);  sd(N.est)
[1] 99.9998
[1] 0.6649131