サンプルとは、ある意味で、分布の「最良の」推定を意味するのでしょうか。

いくつかのiidサンプルポイントが与えられた多数の（弱い/強い）法則により、それらのサンプル平均は、確率とサンプルサイズ両方で分布平均に収束します無限に行きます。 $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

サンプルサイズが固定されている場合、LLN推定量は、ある意味で最良の推定量であるのでしょうか。例えば、 $N$ $f^*$

その期待値は分布平均であるため、不偏推定量です。その分散はで、は分布の分散です。しかし、それはUMVUですか？ $\frac{\sigma^2}{N}$ $\sigma^2$
いくつかの関数がありますかそのような最小化問題を解く： $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ $f^*(\{x_i, i=1,\ldots,N\})$
$f^{*} ({x_{i}, i = 1, \dots, N}) = {argmin}_{u \in R^{n}} \sum_{i = 1}^{N} l_{0} (x_{i}, u) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
言い換えると、は、最小コントラストフレームワークでいくつかのコントラスト関数に最適です（BickleおよびDoksumによる「数学的統計：基本的なアイデアと選択されたトピック、第1巻」のセクション2.1「推定の基本的なヒューリスティック」を参照）。 $f^*$ $l_0$

たとえば、分布がガウス分布のファミリーからのものであることがわかっている/制限されている場合、サンプル平均は分布平均のMLE推定量であり、MLEは最小コントラストフレームワークに属し、そのコントラスト関数は対数尤度を引いたものです関数。 $l_0$
関数があり、が最小化問題を解くようになっていますか：ある分布のファミリ内の任意の分布について？ $l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$
$f^{*} = {argmin}_{f} E_{iid {x_{i}, i = 1, \dots, N} each with distribution P} l (f ({x_{i}, i = 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
言い換えると、は、決定論的フレームワーク（「数学的統計：基本的なアイデアと選択されたトピック、第1巻」の1.3節「決定理論のフレームワーク」を参照）で失われた関数といくつかのファミリーの分布に対して最適です。ビックルとドクサムによる）。 $f^*$ $l$ $F$

上記は、私がこれまでに知っている「最良の」推定の3つの異なる解釈であることに注意してください。LLN推定器に適用される可能性のある他の可能な解釈について知っている場合は、遠慮なくそのことについても言及してください。

estimation expected-value law-of-large-numbers

— ティム
ソース

推定量を特徴付ける別の方法：一貫した推定量についてはこちらをご覧ください。LLNにより、サンプル平均は一貫しています。

— Rohit Banga

サンプル平均には、多くの優れた興味深い特性がありますが、特定の状況で得られる最良のものではない場合があります。1つの例は、分布のサポートがパラメーターの値に依存する場合です。考え、次には、分布は意味しますが、UMVUEではありません。たとえば、最大次数統計に基づく不偏推定は、標本平均よりも分散が小さくなります。

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

— VitalStatistix

ありがとう！しかし、その分散はどのように計算されますか？

— Tim

のpdf 、最大次数統計は次の式で与えられます：、不偏推定量の分散ようなり、、つまり、分散はのオーダーであり、サンプル平均の分散はオーダーです。

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

— VitalStatistix

@VitalStatistix、ここで何かが完全に欠けていますか？変数が均一である場合、それらのサンプル平均は期待値持っているので、2を乗算して不偏推定量を取得しませんか？

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

— NRH

2番目の質問に対する答えは「はい」です。サンプル平均は、関数が場合、xとuが実数の場合、または場合、最小コントラスト推定量です。列ベクトル。これは、最小二乗理論または微分法によるものです。 $l_0$ $(x-u)^2$ $(x-u)'(x-u)$

最小コントラスト推定量は、特定の技術的条件下では、一貫しており、漸近的に正常です。標本平均の場合、これはLLNと中心極限定理からすでに従います。最小コントラスト推定量がどのようにしても「最適」であることは知りません。最小コントラスト推定量の良い点は、多くのロバスト推定量（中央値、Huber推定量、サンプル分位数など）がこのファミリーに該当することであり、最小コントラスト推定量の一般定理を適用するだけで、それらが一貫して漸近的に正常であると結論付けることができます。いくつかの技術的条件をチェックしている限り（ただし、これは思ったよりもはるかに困難です）。

質問で言及しない最適性の概念の1つは、効率です。これは、大まかに言えば、特定の品質の推定値を取得するために必要なサンプルの大きさに関するものです。平均と中央値の効率の比較については、http：//en.wikipedia.org/wiki/Efficiency_（statistics）#Asymptotic_efficiencyを参照してください（平均はより効率的ですが、中央値は外れ値に対してより堅牢です）。

$x_i$

$f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidR
ソース

ありがとう！一貫性があり漸近的に正常な最小コントラスト推定器の特性、および中央値、フーバー推定器、サンプル分位数などの例について、良い参考資料はありますか？

— Tim

あなたが引用しているBickel＆Doksumの本のセクション5.2.2は、最小コントラスト推定量の一貫性に関する定理を持っています。セクション5.4.2では、漸近的な正規性について説明します。私がお勧めするもう1つの情報源は、私が言及する他の推定量についても説明していますが、ファンデルファールトの漸近統計の本です。第5章では、M推定量について説明します。これは、最小コントラスト推定量の名前です。

— DavidR

ありがとう！最初の段落のノルムは任意のノルムですか、それともノルムでなければなりませんか？

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

— Tim

私は標準のユークリッドノルムを意味します-明確にするためにベクトル表記に変更しました。

— DavidR

DavidR、ありがとう！（1）私の投稿のパート3に関して、サンプル平均、つまりLLN推定量が、ある損失関数決定理論的フレームワークに適合できるかどうか疑問に思います。（2）MLEやLeast Square Estimatorなどのすべての推定量が最小コントラストフレームワークに適合しているが、決定理論のフレームワークには適合していないという印象があります。それでは、決定論的フレームワークは推定量の構築には使用されず、それらを評価するためだけに使用されますか？

l

$l$

— Tim