10回の失敗までサンプリングすることにより、ベルヌーイプロセスの確率を推定する：偏っているか？

故障確率（たとえば）のベルヌーイプロセスがあり、そこから故障が発生するまでサンプリングするとします。これにより、失敗の確率をとして推定します。ここで、はサンプル数です。Q ≤ 0.01 10 Q：= 10 / N $q$$q \leq 0.01$$10$$\hat{q}:=10/N$$N$

質問：ある偏った推定の？そして、もしそうなら、それを修正する方法はありますか？$\hat{q}$$q$

私は、最後のサンプルが推定に失敗するバイアスであると主張しています。

事実であるqはの偏った推定値であるQという意味でE （Q）≠ Qしますが、必ずしもこれがあなたを思いとどまらせてはなりません。この正確なシナリオは、偏りのない推定器を常に使用する必要があるという考えに対する批判として使用できます。これは、バイアスが、たまたま行っている特定の実験の成果物であるためです。データは事前​​にサンプル数を選択した場合とまったく同じように見えるので、なぜ推論を変更する必要があるのでしょうか？$\hat{q}$$q$$\text{E}(\hat{q}) \neq q$

興味深いことに、この方法でデータを収集し、2項（固定サンプルサイズ）モデルと負の2項モデルの両方で尤度関数を書き留めると、2つは互いに比例することがわかります。この手段qはもちろん完全に合理的な見積りである負の二項モデル、下に普通の最尤推定値です。$\hat{q}$

最後のサンプルが推定値を偏らせる不合格であると主張するのではなく、Nの逆数をとる$N$

だから 例では q、 E[$\mathbb{E}\left[\frac{N}{10}\right] =\frac{1}{q}$。これは、算術平均と調和平均の比較に近い$\mathbb{E}\left[\frac{10}{N}\right] \not = q$

悪いニュースは、とバイアスが増加できることである小さくなる一度くらいではないが、qがすでに小さいです。良いニュースは、必要な障害の数が増えるとバイアスが減少することです。fの失敗が必要な場合、バイアスはfの乗法因子によって上に制限されるようです。$q$$q$$f$小さなqの場合は f − 1。最初の失敗後に停止するとき、このアプローチは望ましくありません。 $\frac{f}{f-1}$$q$

q = 0.01の場合、障害の後に停止すると、E [ $10$$q=0.01$が E[$\mathbb{E}\left[\frac{N}{10}\right] = 100$としながら、Q=0.001あなたが得るE[$\mathbb{E}\left[\frac{10}{N}\right] \approx 0.011097$$q=0.001$だが E[$\mathbb{E}\left[\frac{N}{10}\right] = 1000$。およそ10のバイアス$\mathbb{E}\left[\frac{10}{N}\right] \approx 0.001111$乗数 $\frac{10}{9}$

dsaxtonの答えを補完するものとして、ここでのサンプリング分布を示すRでいくつかのシミュレーションであり、Q、K = 10およびQ 0 = 0.02：$\hat{q}$$k=10$$q_0 = 0.02$

n_replications <- 10000
k <- 10
failure_prob <- 0.02
n_trials <- k + rnbinom(n_replications, size=k, prob=failure_prob)
all(n_trials >= k)  # Sanity check, cannot have 10 failures in < 10 trials

estimated_failure_probability <- k / n_trials
histogram_breaks <- seq(0, max(estimated_failure_probability) + 0.001, 0.001)
## png("estimated_failure_probability.png")
hist(estimated_failure_probability, breaks=histogram_breaks)
abline(v=failure_prob, col="red", lty=2, lwd=2)  # True failure probability in red
## dev.off()

mean(estimated_failure_probability)  # Around 0.022
sd(estimated_failure_probability)
t.test(x=estimated_failure_probability, mu=failure_prob)  # Interval around [0.0220, 0.0223]

それはのように見えるの変動にかなり小さいバイアス相対的である、Q。$\mathbb{E}\left[ \hat{q}\right] \approx 0.022$$\hat{q}$