なぜ公平性が一貫性を意味しないのですか

Ian Goodfellowらによる深層学習を読んでいます。として導入します。ここで、とはそれぞれ推定パラメーターと基になる実パラメーターです。

B i a s (θ) = E (\hat{θ}) - θ

$Bias(\theta)=E(\hat\theta)-\theta$

\hat{θ}

$\hat\theta$

θ

$\theta$

一方、一貫性はによって定義されます。これは、場合、 as

{l i m}_{m \to \infty} {\hat{θ}}_{m} = θ

$\mathrm{lim}_{m\to\infty}\hat\theta_m=\theta$

ϵ > 0

$\epsilon > 0$

P (| {\hat{θ}}_{m} - θ | > ϵ) \to 0

$P(|\hat\theta_m-\theta|>\epsilon)\to0$

m \to \infty

$m\to\infty$

次に、一貫性は公平性を意味しますが、その逆は意味しません：

一貫性により、データ例の数が増えるにつれて、推定量によって生じるバイアスが確実に減少します。ただし、その逆は当てはまりません。漸近的な不偏性は一貫性を意味しません。たとえば、m個のサンプルで構成されるデータセットを使用して、正規分布N（x;μ、σ2）の平均パラメーターμを推定することを検討してください：。データセットの最初のサンプルを不偏推定量として使用できます：。その場合、なので、データポイントがいくつ表示されても、推定量は不偏です。もちろん、これは推定値が漸近的に不偏であることを意味します。ただし、これはような場合ではないため、一貫した推定量ではありません。 ${x^{(1)}, . . . , x^{(m)}}$ $x^{(1)}$ $\hatθ = x^{(1)}$ $E(\hat θ_m) = θ$ $\hatθ_m → θ$ $m → ∞$

上記の段落と公平性と一貫性の概念を正しく理解したかどうかはわかりませんが、誰かがチェックしてくれるといいですね。前もって感謝します。

私が理解している限り、一貫性は不偏性と低分散の両方を意味するため、不偏性だけでは一貫性を意味するのに十分ではありません。

— 多分
ソース

bias = 0かつvariance-> 0であれば、それは一貫しています。そして、bias-> 0とvariance-> 0の場合、それは一貫しています。これは「漸近不偏」です。どちらも、予想される二乗誤差=バイアス^ 2 +分散であるという事実に基づいています。

— user54038

一貫性は公平さを意味するとは言っていません。たとえば、推定量は標本平均の一貫した推定量ですが、偏りはありません。上記の抜粋が言うことは、一貫性はバイアス推定器によって引き起こされるバイアスの量を減少させるということです！。サンプル平均の場合、が増加するにつれてと差は無視できるようになります

\frac{1}{N - 1} \sum_{i} x_{i}

$\frac{1}{N-1} \sum_i x_i$

N

$N$

N - 1

$N-1$

N

$N$

— Yannis Vassiliadis 2018年

それが公平であると確信していますか？私はそれが公平であると信じています：合計の1 / n倍は偏っています。

— eSurfsnake

@eSurfsnakeは標本分散です。上記で言及したサンプルの意味では、は不偏で一貫しているのに対し、は一貫しているだけです。

\frac{1}{N} \sum_{i} x_{i}

$\frac{1}{N} \sum_i x_i$

\frac{1}{N - 1} \sum_{i} x_{i}

$\frac{1}{N-1} \sum_i x_i$

— Yannis Vassiliadis

OK-分散について質問していると思っていました。

— eSurfsnake

回答:

そのパラグラフでは、著者は極端な例を示しており、偏りがないことは、確率変数が何かに収束していることを意味しない。

著者は、ランダムサンプル取っていると推定したい。ことは注目に、我々はの不偏推定作り出すことができるただ最初の点を除いて、すべての私たちのデータの無視して $X_1,\dots, X_n \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $E(X_1) = \mu$ $\mu$ $X_1$ 。しかし、それは明らかにひどい考えなので、公平さだけでは推定量を評価するための良い基準にはなりません。どういうわけか、私たちはより多くのデータを取得するよう、私たちは私たちの推定から少なく変化するようにしたい、それが言うまさに一貫性だ：任意の距離のために、確率以上である離れてから $\mu$ $\varepsilon$ $\hat \theta_n$ $\varepsilon$ $\theta$ として向かいます。そして、これは、有限のがバイアスされている場合でも発生する可能性があります。この例は、分散推定器であり、 $0$ $n \to \infty$ $n$ $\hat \theta$ 正常サンプル中。これは偏っていますが、一貫しています。 $\hat \sigma^2_n = \frac 1n \sum_{i=1}^n(y_i - \bar y_n)^2$

直感的には、統計は、可能なすべてのサンプルで平均したときに、ターゲット数量と正確に等しい場合、偏りがありません。しかし、一連の事柄の平均が、平均化されているものの近くにある必要はないことはわかっています。これは、平均する方法のちょうど手の込んだバージョンでとあるのいずれもが、や特に近いです（あなたが「クローズ」を測定する方法によって異なります）。 $0$ $1$ $1/2$ $0$ $1$ $1/2$

$X_1 \sim \text{Bern}(\theta)$ $X_2 = X_3 = \dots = X_1$ $\theta$ $\hat \theta(X) = \bar X_n$ $E \bar X_n = p$ $\bar X_n = X_1 \in \{0,1\}$ $\theta \in (0,1)$ $n$ $\bar X_n \sim \text{Bern}(\theta)$

— jld
ソース

逆もまた誤りです。推定量には、nが無限大に近づくと一貫性を保つようにバイアスと分散があり、どちらも0になります。ただし、nごとにバイアスがかかります。これは、ゼロ以外のバイアスがかかるためです。たとえば、分母のnの分散の推定にはバイアスがかかり、一貫していますが、n-1で除算すると、バイアスがなく、構成されます。

— マイケルR.チェニック2018年

私が理解している限り、一貫性は不偏性と低分散の両方を意味するため、不偏性だけでは一貫性を意味するのに十分ではありません。

正しい。あるいは、バイアスが小さい場合は「正確さ」、分散が小さい場合は「精度」という少し一般的な用語を使用して、一貫性には正確さと正確さの両方が必要です。正確であっても、目標を達成しているわけではありません。それは狩猟に出かける2人の統計学者についての古い冗談のようなものです。左に10フィートの鹿を逃します。もう1つは、右に10フィート外れています。その後、彼らは、平均して、彼らが鹿を襲ったことに基づいてお互いを祝福します。彼らのバイアスはゼロですが、実際に鹿に当たるには、分散も低い必要があります。

— 蓄積
ソース