一貫性のある推定量の定義がそのままなのはなぜですか？一貫性の代替定義についてはどうですか？

ウィキペディアからの引用：

統計では、一貫性の推定又は漸近一致推定は、パラメータの計算推定のための推定ルールである $θ^*$ データポイントの数と、無期限に確率の推定値が収束の結果のシーケンスを増加を使用したこと特性を-having $θ^*$ 。

このステートメントを正確にするには、推定する真のパラメーターの値を $\theta^*$ とし、データの関数としてこのパラメーターを推定するためのルールを $\hat\theta(S_n)$ とします。次に、推定量の一貫性の定義は次のように表現できます。

lim_{n \to \infty} P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] = 0

$\lim_{n \to \infty} Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ]=0$

私の質問は一見表面的なようだが、それは次のとおりです。なぜ単語「一貫性/整合性は、」推定のこの振る舞いを記述するために使用されたのですか？

私がこれを気にする理由は、私にとって、直感的に一貫性という言葉は異なるものを意味するためです（少なくとも、私にとっては異なるように見えますが、等しいことを示すことができるかもしれません）。例を使用して、その意味を説明します。「あなた」は一貫して「良い」（何らかの良い定義について）、そして一貫しているということは、あなたが良いことを証明/示す機会があるたびに、あなたが本当に良いことを毎回本当に証明することを意味します（または少なくともほとんどの時間）。

直観を適用して、推定量の一貫性を定義します。"you"を $\hat{\theta}$ を計算する関数とし、 "good"が真の推定値からどれだけ離れているかを意味します $\theta^*$ （良い、 $l_1$ 意味で、そうではありません）。一貫性のより良い定義は次のとおりです。

\forall n, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\forall n,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

一貫性の定義としてはあまり有用ではないかもしれませんが、推定器 $\hat\theta$ に投げるトレーニング/サンプルセットについては、一貫性を定義する方法のほうが理にかなっています。良い仕事です。つまり、私は一貫してうまくやるでしょう。すべてのn（おそらく不可能）に対してそれを行うのは少し非現実的ですが、次のように言ってこの定義を修正できます。

\exists n_{0}, \forall n \geq n_{0}, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\exists n_0, \forall n \geq n_0,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

すなわち、nが十分に大きい場合、推定器は真のから（つまり、「真実」から超えない）より悪くなることはありません（は少なくとも必要な直感をキャプチャしようとしています何かを学習/推定するためのいくつかの例があり、その数に達すると、推定者が定義しようとしている方法に一貫性がある場合、推定者はほとんどの場合うまくいきます）。 $\epsilon$ $\epsilon$ $\theta^*$ $n_0$

ただし、前の定義は強力であり、サイズほとんどのトレーニングセットでから遠ざかる可能性を低くすることができます（つまり、すべてのでこれを必要としませんが、またはそのようなものの分布）。そのため、ほとんどのサンプル/トレーニングセットで高いエラーが発生することはほとんどありません。 $\theta^*$ $n \geq n_0$ $S_n$ $S_n$

とにかく、私の質問は、「一貫性」のこれらの提案された定義は実際に一貫性の「公式」定義と同じですか、しかし等価性を証明するのは難しいですか？証拠を知っているなら、それを共有してください！または、私の直感は完全にオフになっていますか？通常定義されている方法で定義の一貫性を選択するより深い理由がありますか？なぜ（「公式」）一貫性がそのように定義されているのですか？

ある種の同等性の証明候補、または私の一貫性の概念と受け入れられている一貫性の概念の類似性についての私の考えのいくつかは、制限の定義。しかし、私はその方法を100％確信していませんでしたが、一貫性の公式定義では、すべての潜在的なトレーニング/サンプルセットについて話すことを考慮していないようです。私はそれらが同等であると信じているので、私が提供した公式の定義は不完全ですか（つまり、私たちができるデータセットまたはサンプルセットを生成できるすべての異なるデータセットについて話さないのはなぜですか）？ $(\epsilon, \delta)-$

私の最後の考えの1つは、またはある確率分布について正確に記述しなければならない定義です。候補者は、それが保証するものであれば、それが何らかの固定分布に対して、または訓練セットへの可能なすべての分布に対して保証する場合でも、正確でなければならないと思います...右？ $P_x$ $P_{S_n}$

machine-learning mathematical-statistics consistency

— チャーリー・パーカー
ソース

（+1）創造的思考。これを共有していただきありがとうございます。ここでいくつかの考えを答えとして提供できると思います。

— アレコスパパドプロ14

最初の定義は、すべての推定量が非常に正確である必要があるため、ほとんど役に立ちません。2番目のものは、複数の数量詞で単一の論理変数を制御しようとするため、意味がありません。

n

$n$

— whuber

OPによる2番目の暫定的なステートメントを考慮してください。

\begin{matrix} (1) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, P_{n} [| \hat{θ} (S_{n}) - θ^{*} | \geq ϵ] < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n, \exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\P_n\big[|{\hat \theta(S_{n}}) - \theta^*|\geq \epsilon \big] < \delta \tag{1}$

の実数列の境界を調べています $[0,1]$

{P_{n} [| \hat{θ} (S_{n}) - θ^{*} | \geq ϵ]}

$\big\{ P_n\big[|{\hat\theta(S_{n}}) - \theta^*|\geq \epsilon \big]\big\}$

によってインデックス付けされます。このシーケンスに制限がある場合、単にと呼ぶと、 $n$ $n\rightarrow \infty$ $p$

\begin{matrix} (2) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, | P_{n} [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] - p | < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n,\,\exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\\Big| P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon \big] -p\Big|< \delta \tag{2}$

したがって、を仮定（または要求）する場合、としての制限が存在し、ゼロ、等しいと本質的に仮定（または要求）し。 $(1)$ $n\rightarrow \infty$ $p=0$

だから、 "の限界読み込みなどある "。これはまさに一貫性の現在の定義です（そして、はい、「すべての可能なサンプル」をカバーします） $(1)$ $P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon\big]$ $n\rightarrow \infty$ $0$

したがって、OPは推定器のまったく異なるプロパティではなく、まったく同じプロパティの代替式を本質的に提案したようです。

補遺（履歴部分を忘れた）

コルモゴロフは、「確率論の基礎」（1933）で脚注で次のように言及しています（確率の収束の概念）

「...はベルヌーイによるものです。その完全に一般的な扱いはEESlutskyによって導入されました」。

（1925年）。Slutskyの作品はドイツ語です-ドイツ語の単語が英語（またはベルヌーイが使用した用語）にどのように翻訳されたかという問題さえあるかもしれません。しかし、言葉を読みすぎないでください。

— アレコスパパドプロス
ソース