異分散性の下でOLSは漸近的に効率的である

線形回帰設定の不均一性の下では、OLSは公平ではありませんが効率的ではありません。

ウィキペディアで

http://en.wikipedia.org/wiki/Minimum_mean_square_error

MMSE推定量は漸近的に不偏であり、正規分布に収束します：、ここでI（x）はxのフィッシャー情報です。したがって、MMSE推定器は漸近的に効率的です。 $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

MMSEは漸近的に効率的であると主張されています。ここで少し混乱しています。

これは、OLSが有限サンプルでは効率的ではないが、異分散性では漸近的に効率的であることを意味しますか？

現在の回答の批評：これまでのところ、提案された回答は制限的な分布に対処していません。

前もって感謝します

least-squares heteroscedasticity efficiency

— カグダス・オズジェンツ
ソース

それはかなり長いウィキペディアの記事です。さらに、これらは変更される可能性があるため、混乱を引き起こしている箇所を引用してもよろしいですか？

— hejseb 2015

フィッシャー情報は、尤度関数から導出されます。つまり、可能性が正しく指定されたことを暗黙的に暗示しています。つまり、あなたが参照しているステートメントは、異分散性がある場合、異分散性が正しく指定されるような方法で重み付けされていると仮定しています。en.wikipedia.org/wiki/Least_squares#Weighted_least_squaresを参照してください。実際には、異分散性の形式がわからないことが多いため、重み付けスキームの指定を誤ることによって回帰にバイアスをかけるというよりも、非効率性を受け入れることがあります。

— ザカリーブルーメンフェルド2015

@ZacharyBlumenfeld記事ではxの分布についての仮定はありませんでした。どのようにしてフィッシャーの情報を得たのですか？

— Cagdas Ozgenc、2015

en.wikipedia.org/wiki/Fisher_informationを参照してください。この記事では、定義セクションで期待されていると分布を示唆しています。同質性がそこで仮定されたことは決してないことに注意してください。OLSのコンテキストでは、等方性はと見なされ、は単位行列です。異等覚性により、、任意の対角、正の半定値が可能になります。を使用すると、を使用する場合とは異なるフィッシャー情報が生成されます。

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

— ザカリーブルーメンフェルド2015

「MMSEの分布が正規分布に収束する」というこの証拠のどこにありますか？

— Hajir

回答:

この記事は、定義のホモスカダスティック性を想定していません。記事の文脈で言えば、ホモスケダスティシティとはここで、は単位行列であり、はaです。スカラーの正の数。異分散性により、

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ I

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

I

$I$

n \times n

$n\times n$

σ

$\sigma$

E {(\hat{x} - x) (\hat{x} - x)^{T}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

どれ正定diaganol。この記事では、可能な最も一般的な方法で共分散行列を、いくつかの暗黙的な多変量分布の中心にある2次モーメントとして定義しています。漸近的に効率的で一貫した推定を得るためには、の多変量分布を知る必要があります。これは、尤度関数（事後の必須コンポーネント）から取得されます。たとえば、（つまり、と仮定すると、暗黙の尤度関数はここで、は多変量正規確率密度関数です。 $D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

\log [L] = \log [ϕ (\hat{x} - x, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

漁師情報マトリックスは、ように記述できます。詳細については、en.wikipedia.org / Fisher_informationを参照してください。を導出できるのはここからです。上記は2次損失関数を使用していますが、仮定していません等分散性。

I (x) = E [(\frac{\partial}{\partial x} \log [L])^{2} | x]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

\sqrt{n} (\hat{x} - x) \to^{d} N (0, I^{- 1} (x))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

我々は後退OLSの文脈におけるに我々は仮定暗黙の可能性があるこれは単変量正規pdf として簡単に書き直すことができます。フィッシャー情報は $y$ $x$

E {y | x} = x^{'} β

$E\{y|x\}=x'\beta$

\log [L] = \log [ϕ (y - x^{'} β, σ I)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

\log [L] = \sum_{i = 1}^{n} \log [φ (y - x^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

I (β) = [σ (x x^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

等分散性が満たされない場合、前述のフィッシャー情報は誤って指定されています（ただし、条件付き期待関数はまだ正しい）ため、の推定値は一貫していますが非効率的です。ヘテロスキャクティシティを説明する可能性を書き換えることができ、回帰は効率的です。つまり、これは、一般化最小二乗法の特定の形式と同等です。、加重最小二乗法など。しかし、これは $\beta$

\log [L] = \log [ϕ (y - x^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ フィッシャー情報行列を変更します。実際には、異分散性の形式がわからないことが多いため、重み付けスキームの指定を誤って回帰にバイアスをかけるよりも、非効率性を受け入れる方が好ましい場合があります。このような場合、漸近共分散は、上で指定したはありません。

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

— ザカリー・ブルメンフェルド
ソース

いつもご利用いただきありがとうございます。しかし、私はウィキエントリは完全にがらくたであると思います。MMSEは効率を提供しません。また、サンプルが適切に重み付けされていると指定されている場所はありません。さらに、サンプルが重み付けされていると仮定しても、分布がガウス分布でない限り、効率的な推定器にはなりません。これも指定されていません。

— Cagdas Ozgenc、2015

@CagdasOzgenc私は敬意を表しません。この記事は、回帰を含む一般的なベイジアンの方法で表現されていますが、他の多くのモデルも含まれています（カルマンフィルターを目的としているようです）。尤度は、既知の場合に最も効率的な推定量です。これは、尤度の基本的な特性です。あなたの言ったことは、（最も広く適用されているモデルの中でも）回帰モデルのサブセットに厳密に適用され、一次条件を導出するときに正規性が仮定されます。

— ザカリーブルーメンフェルド2015

自分で言った。残念ながら、この記事は尤度推定量に関するものではありません。これは最小平均二乗推定量であり、特定の条件が満たされたときに効率的です。

— Cagdas Ozgenc、2015

承知しました。同意しないことに同意します:) MMSEの定義と、それが最も頻繁な回帰でどのように使用されるかと、ここでよりベイジアンの設定でどのように適用されるかとの間に矛盾があるかもしれません。多分彼らはそれのための新しい名前を発明するべきです。それにもかかわらず、可能性（またはおそらく他の非パラメトリック推定）は、すべての2乗残差に対して独立した期待値をとるときに暗示されます。特にベイジアン設定では（そうでなければ、どのようにそれを推定しますか？）。グーグルの後、私はウィキペディアのものと同様の結果をたくさん見つけました。とにかく、用語が乱用されていることに同意します。

— Zachary Blumenfeld、2015

いいえ、OLSは異分散性の下では効率的ではありません。推定量が他の推定量の中で最も分散が小さい場合、推定量の効率が得られます。OLSの効率性に関する記述は、推定量の分布の制限に関係なく行われます。

— random_guy
ソース