異分散データの分散の予測

15

私は、誤差分散と線形モデルの観点からの平均値を予測しようとする異分散データの回帰を試みています。このようなもの：

\begin{aligned} y (x, t) & = \bar{y} (x, t) + ξ (x, t), \\ ξ (x, t) & \sim N (0, σ (x, t)), \\ \bar{y} (x, t) & = y_{0} + a x + b t, \\ σ (x, t) & = σ_{0} + c x + d t . \end{aligned}

$\begin{align}\\ y\left(x,t\right) &= \bar{y}\left(x,t\right)+\xi\left(x,t\right),\\ \xi\left(x,t\right) &\sim N\left(0,\sigma\left(x,t\right)\right),\\ \bar{y}\left(x,t\right) &= y_{0}+ax+bt,\\ \sigma\left(x,t\right) &= \sigma_{0}+cx+dt. \end{align}$

言い換えると、データは、さまざまな値のおよびでのの反復測定で構成さ $y(x,t)$ れています。私は、これらの測定は、「真の」平均値から成ると仮定の線形関数であり及び加法ガウス雑音で、私は持っていない、その標準偏差（または分散また、線形に依存します。（により複雑な依存関係を許可し、 $x$ $t$ $\bar{y}(x,t)$ $x$ $t$ $\xi(x,t)$ $x,t$ $x$ $t$ –線形形式の強力な理論的動機付けはありませんが、この段階で物事を複雑にしすぎないようにしたいです。）

私は「不均一」ここでは検索用語がある知っているが、すべては私がこれまでよりよく予測することがそれを削除/削減する方法の議論されている見つけることができました $\bar{y}$ 、しかししようという点では何もすることが予測しない $\sigma$ の観点から独立変数。私は推定したいと思い $y_0, a, b, \sigma_0, c$ 及び $d$ 信頼区間（またはベイジアン当量）で、そしてとても良くSPSSでそれを行うための簡単な方法があるかどうか！私は何をすべきか？ありがとう。

— マイケル
ソース

、いくつかの参照のために、この関連の質問を参照してくださいパラメータの関数として分散を

— アンディ・Wに

GARCHを試しましたか？

— アクサカル

一般化線形モデルは、問題に対処するブランチです。同じタイトルの本がありますが、非常にお勧めです。

— ディエゴ

1

あなたの最初の問題は、はもはや正規分布ではなく、データをホモセダスティックに変換する必要がある方法は、が何でかに正確に依存することだと思います。たとえば、場合、誤差は比例型であり、回帰の前にyデータの対数を取るか、回帰を通常の最小二乗（OLS）から加重に調整する必要があります付き最小二乗 $N\left(0,\sigma\left(x,t\right)\right)$ $\sigma\left(x,t\right)$ $\sigma\left(x,t\right)= ax+bt$ 重み（回帰を最小化した比例型エラーに変更します）。同様に、場合、対数の対数を取り、それを回帰する必要があります。 $1/y^2$ $\sigma\left(x,t\right)= e^{a x+b t}$

エラータイプの予測が十分にカバーされていない理由は、最初に古い回帰（うなり声、通常は通常の最小二乗、OLS）を行うためだと思います。そして、残差プロット、すなわちから、残差形状を観察し、データの頻度ヒストグラムをプロットして、それを調べます。次に、残差が右に開くファンビームである場合、比例データモデリングを試みます。ヒストグラムが指数関数的減衰のように見える場合は、平方根、平方、累乗について、往復、などを試行します。、指数yを取ります。 $model-y$ $1/y$

さて、それはほんの短い話です。長いバージョンには、Theil中央値回帰、デミング2変量回帰、最小化される伝播エラーとの適合度の関係が特にない不適切な問題のエラーを最小化する回帰など、非常に多くの種類の回帰が含まれます。最後はとてつもない大ぼらですが、それを参照してくださいこれを例として。答えが得ようとしているものが大きな違いを生むように。通常、変数間の関係を確立したい場合、ルーチンOLSは選択方法ではなく、Theil回帰はその上で迅速で汚い改善になります。OLSはy方向でのみ最小化されるため、勾配は浅すぎ、変数間の基本的な関係を確立するには切片が大きすぎます。これを別の言い方をすると、OLSはxが与えられたayの最小誤差推定値を与えますが、x がyとともにどのように変化するかの推定値を与えません。r値が非常に高い（0.99999+）場合、使用する回帰はほとんど変わらず、yのOLSはxのOLSとほぼ同じですが、r値が低い場合、yのOLSはxのOLS。

要約すると、多くのことは、そもそも回帰分析を行う動機付けとなった推論が何であるかによって異なります。それは必要な数値的方法を決定します。その選択が行われた後、残差は回帰の目的に関連する構造を持ち、その大きなコンテキストで分析する必要があります。

— カール
ソース

0

STATS BREUSCH PAGAN拡張コマンドは、残差の不均一分散をテストし、それを一部またはすべてのリグレッサの関数として推定できます。

— JKP
ソース

0

The general approach to problems of this kind is to maximize the (regularized) likelihood of your data.

L L (y_{0}, a, b, σ_{0}, c, d) = \sum_{i = 1}^{n} \log ϕ (y_{i}, y_{0} + a x_{i} + b t_{i}, σ_{0} + c x_{i} + d t_{i})

$LL(y_0, a, b, \sigma_0, c, d) = \sum_{i=1}^n \log \phi(y_i, y_0 + a x_i + b t_i, \sigma_0 + c x_i + d t_i)$ where

ϕ (x, μ, σ) = \frac{1}{\sqrt{2 π} σ} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}}

$\phi(x, \mu, \sigma) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

You can code this expression into a function in your favorite statistical package (I would prefer Python, R or Stata, for I never did programming in SPSS). Then you can feed it to a numerical optimizer, which will estimate optimal value $\hat{\theta}$ of your parameters $\theta=(y_0, a, b, \sigma_0, c, d)$ .

If you need confidence intervals, this optimizer can also estimate Hessian matrix $H$ of $\theta$ (second derivatives) around the optimum. Theory of maximum likelihood estimation says that for large $n$ covariance matrix of $\hat{\theta}$ may be estimated as $H^{-1}$ .

Here is an example code in Python:

import scipy
import numpy as np

# generate toy data for the problem
np.random.seed(1) # fix random seed
n = 1000 # fix problem size
x = np.random.normal(size=n)
t = np.random.normal(size=n)
mean = 1 + x * 2 + t * 3
std = 4 + x * 0.5 + t * 0.6
y = np.random.normal(size=n, loc=mean, scale=std)

# create negative log likelihood
def neg_log_lik(theta):
    est_mean = theta[0] + x * theta[1] + t * theta[2]
    est_std = np.maximum(theta[3] + x * theta[4] + t * theta[5], 1e-10)
    return -sum(scipy.stats.norm.logpdf(y, loc=est_mean, scale=est_std))

# maximize
initial = np.array([0,0,0,1,0,0])
result = scipy.optimize.minimize(neg_log_lik, initial)
# extract point estimation
param = result.x
print(param)
# extract standard error for confidence intervals
std_error = np.sqrt(np.diag(result.hess_inv))
print(std_error)

Notice that your problem formulation can produce negative $\sigma$ , and I had to defend myself from it by brute force replacement of too small $\sigma$ with $10^{-10}$ .

The result (parameter estimates and their standard errors) produced by the code is:

[ 0.8724218   1.75510897  2.87661843  3.88917283  0.63696726  0.5788625 ]
[ 0.15073344  0.07351353  0.09515104  0.08086239  0.08422978  0.0853192 ]

You can see that estimates are close to their true values, which confirms correctness of this simulation.

— David Dale
ソース