サンドイッチ推定器の直観

ウィキペディアとRサンドイッチパッケージビネットは、OLS係数の標準誤差をサポートする仮定とサンドイッチ推定量の数学的背景に関する優れた情報を提供します。おそらく、最初の段階で標準のOLS係数の分散推定を完全に理解していないためと思われますが、残差の不均一分散の問題にどのように対処するのかはまだわかりません。

サンドイッチ推定器の背後にある直感は何ですか？

— ロバート・キューブリック
ソース

推定（または計量経済学で呼ばれることもある極値推定）についてさらに学ぶ必要があります。回帰のサンドイッチ推定量は、非常に一般的なデルタ法の公式の特殊なケースにすぎず、後者を理解すれば、前者に問題はありません。サンドイッチ推定器が不均一分散性をモデル化しようとせず、それについて何か特別なことをしようとしないという点で直観はありません。これは、標準のOLS推定器よりも一般的な一連の仮定の下で機能する異なる分散推定器です。

M

$M$

— StasK

@StasKありがとう！M推定およびデルタ法の公式に関する特定の優れたリソースを知っていますか？

— ロバートキューブリック

@Robert Huberのモノグラフ「Robust Statistics」は一見の価値があります。

— モモ

OLSの場合、条件付き分散の推定として、（独立性と等分散性の仮定の下で）残差の推定分散を使用していると想像できます。 $Y_i$ の。サンドイッチベースの推定では、観測された2乗残差を、観測間で異なる可能性がある同じ分散のプラグイン推定として使用しています。

var (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (var (Y | X)) X) {(X^{T} X)}^{- 1}

$\begin{equation} \mbox{var}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(\mbox{var}\left(Y|X\right)\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

回帰係数推定の通常の最小二乗標準誤差推定では、一貫して推定できるように、結果の条件付き分散は定数および独立として扱われます。

{\hat{var}}_{O L S} (\hat{β}) = {(X^{T} X)}^{- 1} (r^{2} X^{T} X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{OLS}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(r^2X^TX\right)\left(X^TX\right)^{-1} \end{equation}$

サンドイッチについては、条件付き分散の一貫した推定を避け、代わりに二乗残差を使用して各コンポーネントの分散のプラグイン推定を使用します

{\hat{var}}_{R S E} (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (r_{i}^{2}) X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{RSE}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(r_i^2\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

$\hat{\beta}$

直観的に、これらの観測された二乗残差は、分散が一定であるという仮定の下では予期していなかった不均一分散性による原因不明のエラーを除去します。

— AdamO
ソース

私が把握するのが難しいのはあなたの最後の段落です。説明できますか？

— ロバートキューブリック

それはあなたの式のSEではありません、AdamO、それはSE ^ 2です...あなたがそれを意味するどんなマトリックスの方法でも。

— StasK

@StasK良い点。たぶん、分散ハットの方がいいでしょう。多変量と単変量の用語を混同していました。

— AdamO

@RobertKubrick最後の段落で、推定量の主な違いは条件付き分散項の表現方法であることを指摘しています

var (Y | X)

$\mbox{var}(Y|X)$ 。線形回帰モデルでは、一貫して残差を推定しますが、サンドイッチを使用すると、単に条件付き分散のプラグイン推定を使用します

i

$i$ 二乗残差を使用した-th項。不均一分散が存在する場合、比較的大きな二乗残差を持つポイントは、対応する大きな推定分散を持ち、これは標準誤差推定への影響を減らします。

— AdamO

編集：私は「の一貫推定言うことを意図したときにOLSのVARの推定値は、「残差の一貫性の推定値を」関与と言っ分散残差の」。

— AdamO