線形回帰でスチューデント分布または正規分布を使用する場合

10

係数をテストするために、いくつかの問題を調べています。ある場合には、スチューデントの分布を使用している人を見たり、ある場合には正規分布を見たりします。ルールは何ですか？

regression distributions hypothesis-testing

— レオ
ソース

3

これは答えではありませんが、自由度パラメータ

が大きくなるにつれて、

分布が正規分布に近づくことに注意してください。過去

、特に最も仮説テストのフレームワークでは、目立った違いはありません。限定的な挙動は、「上から」の意味であり、もし

及び

、次いで

ある確率的に大きくなるより

。

t

$t$

ν

$\nu$

ν \geq 30

$\nu \geq 30$

T \sim t_{ν}

$T \sim t_{\nu}$

Z \sim N (0, 1)

$Z \sim \mathcal{N}(0,1)$

| T |

$|T|$

| Z |

$|Z|$

— 枢機卿

15

正規分布は、中心極限定理のいくつかのバージョンに関連する多くの意味のある統計的問題における大きなサンプル分布です。回答に到達するために（ほぼ）独立した情報が追加されています。パラメータ推定値が漸近的に正常である場合、それらの関数も漸近的に正常です（通常の場合）。

$t$ $t$ $\sigma$ $t$

線形回帰では、有限サンプルの場合でも、スチューデント分布を正当化できない場合があります。これらは、回帰エラーの2次条件違反に関連しています。つまり、（1）一定の分散であり、（2）独立している。これらの仮定に違反した場合、異分散であるが独立した残差に対してEicker / White推定器を使用して標準誤差を修正します。または逐次相関エラー、またはクラスター化標準エラーの Newey-West推定量クラスター相関データの場合、Student分布の正当な理由を引き出す方法はありません。ただし、適切なバージョンの漸近正規性引数（特異配列など）を使用することで、正規近似を正当化できます（ただし、信頼区間が狭すぎる可能性が高いことに注意してください）。

— StasK
ソース

1

（+1）3番目の段落の冒頭で、線形回帰が無限（非「有限」）サンプルで行われるという含意が大好きです！

— whuber

@whuber：:)私の本では、それが正常であれば、CLTまたは漸近的なものに依存している必要があります。それ以外の場合は、これと同じくらい意味があります。

— StasK 2011

6

私は正規分布とガンマ分布の混合としてスチューデントt分布の表現が好きです。

S t u d e n t (x | μ, σ^{2}, ν) = \int_{0}^{\infty} N o r m a l (x | μ, \frac{σ^{2}}{ρ}) G a m m a (ρ | \frac{ν}{2}, \frac{ν}{2}) d ρ

$Student(x|\mu,\sigma^2,\nu)=\int_{0}^{\infty}Normal\left(x|\mu,\frac{\sigma^2}{\rho}\right)Gamma\left(\rho|\frac{\nu}{2},\frac{\nu}{2}\right)d\rho$

$E[\rho|\nu]=1$ $V[\rho|\nu]=\frac{2}{\nu}$ $\nu$

y_{i} = μ_{i} + \frac{e_{i}}{\sqrt{ρ_{i}}}

$y_i=\mu_i+\frac{e_i}{\sqrt{\rho_i}}$

$e_i\sim N(0,\sigma^2)$ $\rho_i\sim Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)$ $Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)\sim \frac{1}{\nu}\chi^2_\nu$

$y_i-\mu_i$ $\sigma^2$ $\rho_i$ $\sigma^2$ $\rho_i$ $\rho_i$ $\mu_i=x_i^T\beta$ $\rho_i$ $\rho_i$

\hat{β} = (\sum_{i} ρ_{i} x_{i} x_{i}^{T})^{- 1} (\sum_{i} ρ_{i} x_{i} y_{i})

$\hat{\beta}=(\sum_i\rho_ix_ix_i^T)^{-1}(\sum_i\rho_ix_iy_i)$

$\rho_i$ $\rho_i$

これらのことを決定するための「ルール」はないことに注意してください。この質問に対する私や他の回答は、有限分散パスに沿って実行できるいくつかのテストを見つけるのに役立つ場合があります（学生tは、自由度以下の無限分散です） 2に）。

— 確率論的
ソース

+1：これは正しいように見えますが、正規分布とガンマ分布の混合ではなく、正規ガンマと正規の複合分布と言って、正規ガンマ分布が正規分布の前に共役します（平均と精度によってパラメーター化されます）。

— Neil G

ええ、混合について指摘されました-私は今それを修正するための不器用な方法を考えることはできませんが。この形式は共役分布に固有のものではないことに注意してください。たとえば、ガンマpdfを逆指数pdfに置き換えると、ラプラス分布が得られます。これにより、正規分布をロバスト化する形式として、最小二乗ではなく「最小絶対偏差」が発生します。他のディストリビューションは他の「ロバスト化」につながります-おそらく学生ほど分析的にきれいではありません。

— 確率

\frac{X}{\sqrt{(U / ν)}}

${\frac {X}{\sqrt {(U/\nu )}}}$