どのモデルの場合、MLEのバイアスは分散よりも速く低下しますか？

してみましょう trueパラメータの最尤推定値も一部のモデルの。データポイント数が増えると、エラーは通常として減少します。三角形の不等式と期待値の特性を使用すると、このエラー率が「バイアス」と「偏差」両方を意味することを示すことができます。同じ減少 $\hat\theta$ $\theta^*$ $n$ $\lVert\hat\theta-\theta^*\rVert$ $O(1/\sqrt n)$ $\lVert \mathbb E\hat\theta - \theta^*\rVert$ $\lVert \mathbb E\hat\theta - \hat\theta\rVert$ $O(1/\sqrt{n})$ 割合。もちろん、モデルがより速い速度で縮小するバイアスを持つことは可能です。多くのモデル（通常の最小二乗回帰など）にはバイアスがありません。

よりも速く収縮するバイアスを持つモデルに興味 $O(1/\sqrt n)$ がありますが、偏差がとしてまだ収縮するため、この高速ではエラーが収縮しません $O(1/\sqrt n)$ 。特に、モデルのバイアスが割合で縮小するのに十分な条件を知りたいと思い $O(1/n)$ ます。

— マイク・イズビッキ
ソース

DOES

‖ \hat{θ} - θ^{*} ‖ = (\hat{θ} - θ^{*})^{2}

$\lVert\hat\theta-\theta^*\rVert = (\hat\theta-\theta^*)^2$ ？それとも？

— アレコスパパドプロス

はい、具体的にはL2ノルムについて尋ねました。しかし、質問が答えやすくなるのであれば、他の規範にも興味があります。

— マイクIzbicki

(\hat{θ} - θ^{*})^{2}

$(\hat \theta -\theta^*)^2$ は

O_{p} (1 / n)

$O_p(1/n)$ です。

— アレコスパパドプロス

申し訳ありませんが、あなたのコメントを読み違えました。次元のL2ノルムの場合、であるため、収束は。二乗するととして収束することに同意します。

d

$d$

‖ a - b ‖ = \sqrt{\sum_{i = 1}^{d} (a_{i} - b_{i})^{2}}

$\Vert a-b\Vert = \sqrt{\sum_{i=1}^d (a_i-b_i)^2}$

O (1 / \sqrt{n})

$O(1/\sqrt n)$

O (1 / n)

$O(1/n)$

— マイクIzbicki

リッジ回帰（Hoerl＆Kennard 1970）の論文を見ましたか？これが真であると予想される設計マトリックス+ペナルティの条件を与えると思います。

— dcl

回答:

一般に、MLEが漸近的に正規ではなく、他の分布に収束するモデルが必要です（より高速に収束します）。これは通常、推定中のパラメーターがパラメーター空間の境界にあるときに発生します。直観的には、これは、MLEがパラメーターに「一方からのみ」近づくことを意味し、パラメーターを「前後に」移動することによって「気が散らない」ため、「収束速度が向上します」。

標準的な例は、のためのMLEれるのIIDサンプル中のここで、均一なRVのザMLEは、最大順序統計量であります $\theta$ $U(0,\theta)$

{\hat{θ}}_{n} = u_{(n)}

$\hat \theta_n = u_{(n)}$

その有限サンプル分布は

F_{{\hat{θ}}_{n}} = \frac{({\hat{θ}}_{n})^{n}}{θ^{n}}, f_{\hat{θ}} = n \frac{({\hat{θ}}_{n})^{n - 1}}{θ^{n}}

$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$

E ({\hat{θ}}_{n}) = \frac{n}{n + 1} θ ⟹ B (\hat{θ}) = - \frac{1}{n + 1} θ

$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$

したがって、。ただし、分散についても同じ増加率が保持されます。 $B(\hat \theta_n) = O(1/n)$

また、限界分布を得るには、変数を調べる必要があることを確認できます（つまり、スケーリングする必要があります） $n(\theta - \hat \theta_n)$ $n$

P [n (θ - {\hat{θ}}_{n}) \leq z] = 1 - P [{\hat{θ}}_{n} \leq θ - (z / n)]

$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$

= 1 - \frac{1}{θ^{n}} \cdot {(θ + \frac{- z}{n})}^{n} = 1 - \frac{θ^{n}}{θ^{n}} \cdot {(1 + \frac{- z / θ}{n})}^{n}

$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$

\to 1 - e^{- z / θ}

$\to 1- e^{-z/\theta}$

これは、指数分布のCDFです。

これが何らかの方向性を提供することを願っています。

— アレコスパパドプロス
ソース

これは近づいていますが、バイアスが分散よりも速く収縮する状況に特に興味があります。

— マイクIzbicki

@MikeIzbickiうーん...バイアスの収束は分布の最初の瞬間に依存し、分散（の平方根）も「一次」の大きさです。これが起こる可能性があるかどうかはわかりません。なぜなら、制限された分布の瞬間が、互いに互換性のない収束率で「上昇」することを意味するように見えるからです...私はそれについて考えます。

— アレコスパパドプロス

私の他の回答のコメントに続いて（そして、OPの質問のタイトルをもう一度見てください！）、ここでは問題のあまり厳密ではない理論的調査があります。

バイアスが分散の平方根と異なる収束率を持っているかどうかを判断したい、 $B(\hat \theta_n) = E(\hat \theta_n) - \theta$

B ({\hat{θ}}_{n}) = O (1 / n^{δ}), \sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}), γ \neq δ ? ? ?

$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$

我々は持っています

B ({\hat{θ}}_{n}) = O (1 / n^{δ}) ⟹ lim n^{δ} E ({\hat{θ}}_{n}) < K ⟹ lim n^{2 δ} [E ({\hat{θ}}_{n})]^{2} < K^{'}

$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$

\begin{matrix} (1) & ⟹ [E ({\hat{θ}}_{n})]^{2} = O (1 / n^{2 δ}) \end{matrix}

$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$

ながら

\sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}) ⟹ lim n^{γ} \sqrt{E ({\hat{θ}}_{n}^{2}) - [E ({\hat{θ}}_{n})]^{2}} < M

$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$

⟹ lim \sqrt{n^{2 γ} E ({\hat{θ}}_{n}^{2}) - n^{2 γ} [E ({\hat{θ}}_{n})]^{2}} < M

$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$

\begin{matrix} (2) & ⟹ lim n^{2 γ} E ({\hat{θ}}_{n}^{2}) - lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} < M^{'} \end{matrix}

$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$

が成り立つ場合があることがわかります $(2)$

A）両方の成分はであり、その場合はしか持てません。 $O(1/n^{2\gamma})$ $\gamma = \delta$

B）ただし、

\begin{matrix} (3) & lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} \to 0 ⟹ [E ({\hat{θ}}_{n})]^{2} = o (1 / n^{2 γ}) \end{matrix}

$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$

以下のためにと互換性があるように、我々は持っている必要があります $(3)$ $(1)$

\begin{matrix} (4) & n^{2 γ} < n^{2 δ} ⟹ δ > γ \end{matrix}

$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$

そのため、原則として、分散の平方根よりも速い速度でバイアスを収束させることができるようです。ただし、バイアスよりも速い速度で収束する分散の平方根を持つことはできません。

— アレコスパパドプロス
ソース

これを通常の最小二乗法のような不偏推定量の存在とどのように調和させますか？その場合、ですが、。

B (\hat{θ}) = 0

$B(\hat\theta)=0$

\sqrt{V a r (\hat{θ})} = O (1 / \sqrt{n})

$\sqrt{Var(\hat\theta)} = O(1/\sqrt n)$

— マイクIzbicki

@MikeIzbicki収束/ big-Oの概念はこの場合に適用可能ですか？ここで、は「 anything」ではないからです。

B (\hat{θ})

$B(\hat \theta)$

O ()

$O()$

— アレコスパパドプロス

この場合、なので、。

E \hat{θ} = θ^{*}

$\mathbb E\hat\theta=\theta^*$

B (\hat{θ}) = ‖ E \hat{θ} - θ^{*} ‖ = 0 = O (1) = O (1 / n^{0})

$B(\hat\theta) = \lVert \mathbb E \hat\theta - \theta^*\rVert = 0 = O(1) = O(1/n^0)$

— マイクIzbicki

@MikeIzbickiただし、またはまたは書き留めておく必要のあるその他のものも。ここで収束率はどれですか？

B (\hat{θ}) = O (n)

$B(\hat \theta) = O(n)$

B (\hat{θ}) = O (1 / \sqrt{n})

$B(\hat \theta) =O(1/\sqrt{n})$

— アレコスパパドプロス

@MikeIzbicki私は答えを修正して、バイアスをより速く収束させることが原則的に可能であることを示しましたが、「ゼロバイアス」の例にはまだ問題があると思います。

— アレコスパパドプロス