必要なサンプルサイズ、分散推定の精度を計算していますか？

17

バックグラウンド

分布が不明な変数があります。

500個のサンプルがありますが、分散を計算できる精度を実証したいと思います。たとえば、サンプルサイズ500で十分だと主張します。また、分散を精度で推定するために必要な最小サンプルサイズを知ることに興味があります。 $X\%$

ご質問

どうすれば計算できますか

サンプルサイズ所与分散の私の推定値の精度？？ $n=500$ $n=N$
精度で分散を推定するために必要なサンプルの最小数を計算するにはどうすればよいですか？ $X$

例

図1 500サンプルに基づくパラメーターの密度推定。

ここに画像の説明を入力してください

図2これは、x軸のサンプルサイズと、500のサンプルのサブサンプルを使用して計算したy軸の分散の推定値のプロットです。nが増加すると、推定値は真の分散に収束します。。

ただし、分散を推定するために使用されるサンプルは互いに独立していないか、分散を計算するために使用されるサンプルとは $n \in [10,125,250,500]$ $n\in [20,40,80]$

ここに画像の説明を入力してください

— 安倍
ソース

未知の分布の成分がコーシー分布である場合、分散は未定義であることに注意してください。

— マイクアンダーソン

@Mikeまたは、他の無数のディストリビューション。

— Glen_b-モニカを

10

iidランダム変数場合、分散（分母持つもの）の不偏推定量には分散があります。 $X_1, \dotsc, X_n$ $s^2$ $n-1$

V a r (s^{2}) = σ^{4} (\frac{2}{n - 1} + \frac{κ}{n})

$\mathrm{Var}(s^2) = \sigma^4 \left(\frac{2}{n-1} + \frac{\kappa}{n}\right)$

ここで、は分布の過剰な尖度です（参照：Wikipedia）。そのため、分布の尖度も推定する必要があります。と呼ばれることもある量を使用できます（Wikipediaからも）： $\kappa$ $\gamma_2$

γ_{2} = \frac{μ_{4}}{σ_{4}} - 3

$\gamma_2 = \frac{\mu_4}{\sigma_4} - 3$

私はあなたが使用している場合と仮定しますの推定値としてとのための推定値として、あなたがのための合理的な見積もりを取得することを私は保証が表示されていないものの、それが公平であること。500個のデータポイントのサブセット間の分散と合理的に一致するかどうか、そしてそれをもう心配しないかどうかを確認してください:) $s$ $\sigma$ $\gamma_2$ $\kappa$ $\mathrm{Var}(s^2)$

— エリック・P
ソース

バイアスの不偏推定量に関する教科書の参照はありますか？より多くの文脈のためにウィキペディアからどこに行くべきかわかりません。

— 阿部

ここには標準テキストのRiceがありませんので、ページ番号を確認することはできませんが、そこにあると確信しています。：GCは、モンゴメリー、DCおよびRunger：ウィキペディアは、それがまたで言及されるべきである提案するエンジニアのための応用統計と確率のページ201ジョン・ワイリー・アンド・サンズ、ニューヨーク、1994、

— エリックP.

これにご協力いただきありがとうございます。この答えは非常に有用であり、分散の不確実性を定量化するのに有益でした。最終日にこの方程式を約10回適用しました。計算簡単ですライブラリー：

k a p p a

$kappa$ momentslibrary(moments); k <- kurtosis(x); n <- length(x); var(x)^2*(2/(n-1) + k/n)

— 阿部

Riceテキストからページ番号を見つけた可能性はありますか？CasellaとBergerにはありません。あなたがそれを知っていれば、一次参照はさらに良いでしょう。ウィキペディアのページは特に参照されていません。

— 安倍

うーん...ライスにも式がないようです。私はそれを監視し続けますが、この時点で私はまったく参照を持っていません。

— エリックP.

15

分散の学習は困難です。

多くの場合、分散をうまく推定するには（おそらく驚くほど）多数のサンプルが必要です。以下に、iidの通常のサンプルの「標準的な」ケースの開発を示します。

$Y_i$ $i=1,\ldots,n$ $\mathcal{N}(\mu, \sigma^2)$ $100(1-\alpha)\%$ $\rho s^2$ $100\rho \%$ $\rho = 1/2$ $s^2 = 10$ $(8,\,13)$ $s^2$

$s^2$

\frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (1 - α / 2)}} \leq σ^{2} \leq \frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (α / 2)}},

$\frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} \leq \sigma^2 \leq \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(\alpha/2)}} \>,$

χ_{(n - 1)}^{2 β}

$\chi_{(n-1)}^{2\;\beta}$

β

$\beta$

n - 1

$n-1$

(n - 1) s^{2} / σ^{2}

$(n-1)s^2/\sigma^2$

なるように幅を最小化したい

L (n) = \frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (α / 2)}} - \frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (1 - α / 2)}} < ρ s^{2},

$L(n) = \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(\alpha/2)}} - \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} < \rho s^2 \>,$

n

$n$

(n - 1) (\frac{1}{χ_{(n - 1)}^{2 (α / 2)}} - \frac{1}{χ_{(n - 1)}^{2 (1 - α / 2)}}) < ρ .

$(n-1) \left(\frac{1}{\chi_{(n-1)}^{2\;(\alpha/2)}} - \frac{1}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} \right) < \rho .$

$n = 65$ $\rho = 1$ $n = 5321$ $\rho = 0.1$

$n$ $n$

$n$ $\rho$

\hat{α} \approx \frac{\log 0.1 - \log 1}{\log 5321 - \log 65} = \frac{- \log 10}{\log \frac{5231}{65}} \approx - 0.525,

$\hat{\alpha} \approx \frac{\log 0.1 - \log 1}{\log 5321 - \log 65} = \frac{-\log 10}{\log \frac{5231}{65}} \approx -0.525 ,$

残念ながら、明らかに遅いです！

これは一種の「標準的な」ケースで、計算の進め方を感じさせます。プロットに基づいて、データは特に正常に見えません。特に、顕著な歪度と思われるものがあります。

しかし、これはあなたに何を期待するかの大まかなアイデアを与えるはずです。上記の2番目の質問に答えるには、最初にいくつかの信頼レベルを修正する必要があることに注意してください。デモでは、上記の開発で99％に設定しました。

— 枢機卿
ソース

n | ρ

$n|\rho$

r h o

$rho$

n = 65

$n=65$

ρ < 1

$\rho<1$

ρ

$\rho$

1 \times s^{2}

$1\times s^2$

ρ

$\rho$

1 %

$1\%$

s^{2}

$s^2$

@Abe、プロセスで更新され、うまくいけば明確になりました。以前のバージョンには、特に悪いタイプミスが1つありました。ごめんなさい

— 枢機

非常に良い答えですが、@ Erikから選んだのは、私の問題により適切であるためです（パラメーターが正規分布していないため）。

— 安倍

@阿部：問題ありません。それがチェックマークの目的です。私の答えは、何よりも実例となることを意図していました。私が言えることから、それはまだあなたの両方の質問に対処する唯一のものであるように見え、エリックが概説するシナリオでさえ（漸近的に）正しいでしょう。（1年以上前に彼に+1しました。）:)

— 枢機

s (s_{s})

$s(s_{s})$

s [l c l, u c l]

$s[lcl,ucl]$

1

より簡単に解釈できる規模にあるため、分散ではなくSDに焦点を当てます。

人々は時々SDまたは分散の信頼区間を見ますが、焦点は一般的に平均です。

$s^2/\sigma^2$ $\sigma^2$ $\sigma$ $\sigma^2$

— カール
ソース

（この返事は、重複した質問の枠組であり、多少異なって枠組されていたが、マージされた後にここに来た。）

— whuber

1

次の解決策は、1950年のJASA論文でGreenwoodとSandomireによって提供されました。

$X_1,\dots,X_n$ $\mathrm{N}(\mu,\sigma^2)$ $\sigma$

S = \sqrt{\sum_{i = 1}^{n} \frac{(X_{i} - \bar{X})^{2}}{n - 1}},

$S=\sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X})^2}{n-1}},$

S

$S$

σ

$\sigma$

0 < u < 1

$0<u<1$

Pr {S < (1 - u) \cdot σ} = a and Pr {S > (1 + u) \cdot σ} = b,

$\Pr\{S<(1-u)\cdot\sigma\}=a \quad\text{and}\quad \Pr\{S>(1+u)\cdot\sigma\}=b,$

γ = 1 - a - b

$\gamma=1-a-b$

これは、以下のものとピボット量は分布があり、2つの確率が加算されるため、

Pr {\frac{(n - 1) S^{2}}{σ^{2}} < (n - 1) (1 - u)^{2}} = a

$\Pr\!\left\{ \frac{(n-1)S^2}{\sigma^2} < (n-1)(1-u)^2\right\} = a$

Pr {\frac{(n - 1) S^{2}}{σ^{2}} > (n - 1) (1 + u)^{2}} = b .

$\Pr\!\left\{ \frac{(n-1)S^2}{\sigma^2} > (n-1)(1+u)^2\right\} = b.$

(n - 1) S^{2} / σ^{2}

$(n-1)S^2/\sigma^2$

χ_{n - 1}^{2}

$\chi^2_{n-1}$

γ = F_{χ_{(n - 1)}^{2}} ((n - 1) (1 + u)^{2}) - F_{χ_{(n - 1)}^{2}} ((n - 1) (1 - u)^{2}),

$\gamma = F_{\chi^2_{(n-1)}}((n-1)(1+u)^2) - F_{\chi^2_{(n-1)}}((n-1)(1-u)^2),$

そして、必要なサンプルサイズは、指定されたおよびについての前の方程式を解くとわかります。 $n$ $\gamma$ $u$

R コード。

gamma <- 0.95
u <- 0.1
g <- function(n) pchisq((n-1)*(1+u)^2, df = n-1) - pchisq((n-1)*(1-u)^2, df = n-1) - gamma
cat("Sample size n = ", ceiling(uniroot(g, interval = c(2, 10^6))$root), "\n")

用の出力と。 $u=10\%$ $\gamma=95\%$

Sample size n = 193

— 禅
ソース