サンプルサイズ、最小値と最大値から正規分布を再構築できますか？中間点を使用して平均を代理できます

私はこれが統計的には少し強引かもしれないことを知っていますが、これは私の問題です。

範囲データ、つまり変数の最小、最大、サンプルサイズがたくさんあります。これらのデータの一部については平均値もありますが、多くはありません。これらの範囲を互いに比較して、各範囲の変動性を定量化し、平均を比較したいと思います。分布が平均に関して対称的であり、データがガウス分布を持っていると仮定する正当な理由があります。このため、平均値が存在しない場合、分布の中間点を平均値のプロキシとして使用することを正当化できると考えています。

私がやりたいのは、各範囲の分布を再構築し、それを使用してその分布の標準偏差または標準誤差を提供することです。私が持っている唯一の情報は、サンプルから観測された最大値と最小値、および平均値のプロキシとしての中点です。

このようにして、各グループの加重平均を計算でき、また、私が持っている範囲データと（対称および正規分布の）仮定に基づいて、各グループの変動係数も計算できるようになります。

私はこれを行うためにRを使用する予定であるため、コードのヘルプも歓迎します。

平均および標準偏差ガウス分布からのサンプルの最小および最大のジョイント累積分布関数は、次のです。 X （N ） N μ $x_{(1)}$$x_{(n)}$$n$$\mu$$\sigma$

$$F(x_{(1)},x_{(n)};\mu,\sigma) = \Pr(X_{(1)}<x_{(1)}, X_{(n)}<x_{(n)})\\ =\Pr( X_{(n)}<x_{(n)}) - \Pr(X_{(1)}>x_{(1)}, X_{(n)}<x_{(n)}\\ =\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)^n - \left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) -\Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^n$$

ここで、は標準のガウスCDFです。微分・同時確率密度関数を与えますx （1 ） x （n $\Phi(\cdot)$$x_{(1)}$$x_{(n)}$

$$f(x_{(1)},x_{(n)};\mu,\sigma) =\\ n(n-1)\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^{n-2}\cdot\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)\cdot\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\cdot\tfrac{1}{\sigma^2}$$

ここで、は標準のガウスPDFです。ログを取得し、パラメーターを含まない用語を削除すると、対数尤度関数が得られます$\phi(\cdot)$

$$\ell(\mu,\sigma;x_{(1)},x_{(n)}) =\\ (n-2)\log\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right] + \log\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) + \log\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right) - 2\log\sigma$$

これはあまり扱いにくいようには見えませんが、設定することで、の値に関係なく最大化されていることが簡単にわかります、つまり中点-1つのCDFの引数が他のCDFの引数の負である場合、最初の項が最大化されます。2番目と3番目の項は、2つの独立した正規変量の結合尤度を表します。μ = μ = X （N ） + X （1 $\sigma$$\mu=\hat\mu=\frac{x_{(n)}+x_{(1)}}{2}$

対数尤度にを代入してを 記述すると、 R=X（N）-X（1）ℓ（σ;X（1）、X（N）、 μ）=（N-2）ログを[1-2Φ（ - $\hat\mu$$r=x_{(n)}-x_{(1)}$

$$\ell(\sigma;x_{(1)},x_{(n)},\hat\mu)=(n-2)\log\left[1 - 2\Phi\left(\tfrac{-r}{2\sigma}\right)\right] - \frac{r^2}{4\sigma^2} -2\log{\sigma}$$

を見つけるには、この式を数値的に（たとえばoptimizeRのstatパッケージから）最大化する必要があります。（であることが判明しました。ここで、はのみに依存する定数です。おそらく、私が理由を示すよりも数学的に巧妙だと思われます。）$\hat\sigma$$\hat\sigma=k(n)\cdot r$$k$$n$

推定値は、精度の測定値なしでは役に立ちません。観測されたフィッシャー情報は、数値的に評価することができ（たとえばhessian、RのnumDerivパッケージから）、近似標準誤差の計算に使用できます。

$$I(\mu)=-\left.\frac{\partial^2{\ell(\mu;\hat\sigma)}}{(\partial\mu)^2}\right|_{\mu=\hat\mu}$$ $$I(\sigma)=-\left.\frac{\partial^2{\ell(\sigma;\hat\mu)}}{(\partial\sigma)^2}\right|_{\sigma=\hat\sigma}$$

バイアス（MLEは一貫性がありますか？）、分散、および平均二乗誤差に関しての尤度とモーメント法の推定値を比較することは興味深いでしょう 。また、最小値と最大値に加えてサンプル平均がわかっているグループの推定の問題もあります。$\sigma$

範囲を標準偏差/分散に関連付ける必要があります。平均、標準偏差、範囲とします。次に、正規分布の場合、確率質量の％が平均から3標準偏差内にあることがわかります。これは、実用的なルールとして、非常に高い確率で、σ R = X （N ） - X （1 ）$\mu$$\sigma$$R=x_{(n)} - x_{(1)}$$99.7$

$$\mu + 3\sigma \approx x_{(n)}$$ および

$$\mu - 3\sigma \approx x_{(1)}$$

取得した最初の値から2番目の値を引く

σ =

$$6\sigma \approx x_{(n)} - x_{(1)}= R$$ （これは、ちなみに、業界では「シックスシグマ」品質保証方法論がどこから来るかです）。次に、 で標準偏差の推定値を取得できます 。ここで、バーは平均を示します。これは、すべてのサブサンプルが同じ分布からのものであると仮定した場合です（予想される範囲を持っていることについて書きました）。各サンプルが異なる平均と分散をもつ異なる法線である場合、各サンプルに式を使用できますが、標準偏差の推定値の不確実性/可能性のある不正確さははるかに大きくなります。 $$\hat \sigma = \frac 16 \Big(\bar x_{(n)} - \bar x_{(1)}\Big)$$

平均値と標準偏差の値を持つことは、正規分布を完全に特徴付けます。

正規分布の最大値の分布関数を取得するのは簡単です（コードの「P.max.norm」を参照）。それから（いくつかの計算を使用して）変位値関数を取得できます（「Q.max.norm」を参照）。

「Q.max.norm」および「Q.min.norm」を使用すると、Nに関連する範囲の中央値を取得できます。AlecosPapadopoulosが提示したアイデアを使用して（前の回答で）sdを計算できます。

これを試して：

N = 100000    # the size of the sample

# Probability function given q and N
P.max.norm <- function(q, N=1, mean=0, sd=1){
    pnorm(q,mean,sd)^N
} 
# Quantile functions given p and N
Q.max.norm <- function(p, N=1, mean=0, sd=1){
    qnorm(p^(1/N),mean,sd)
} 
Q.min.norm <- function(p, N=1, mean=0, sd=1){
    mean-(Q.max.norm(p, N=N, mean=mean, sd=sd)-mean)
} 

### lets test it (takes some time)
Q.max.norm(0.5, N=N)  # The median on the maximum
Q.min.norm(0.5, N=N)  # The median on the minimum

iter = 100
median(replicate(iter, max(rnorm(N))))
median(replicate(iter, min(rnorm(N))))
# it is quite OK

### Lets try to get estimations
true_mean = -3
true_sd = 2
N = 100000

x = rnorm(N, true_mean, true_sd)  # simulation
x.vec = range(x)                  # observations

# estimation
est_mean = mean(x.vec)
est_sd = diff(x.vec)/(Q.max.norm(0.5, N=N)-Q.min.norm(0.5, N=N))

c(true_mean, true_sd)
c(est_mean, est_sd)

# Quite good, but only for large N
# -3  2
# -3.252606  1.981593