線形回帰で幾何学的重みを使用する理由

実際の応用において、私はしばしば以下の実践を目撃しました。時間の経過ペアを観察します。それらが線形に関連しているという仮定の下で、均一な重みではなく幾何学的な重みを使用して、一方を他方に対して回帰します。つまり、OLSははいくつかの。これは非常に直感的です。これまでの観測の重み付けは少なくなっています。「ボックスカー」重み付けスキームと比較すると、観測値が観測ウィンドウから突然落ちることがないため、時間の経過とともに滑らかに変化する推定値を生成できるという利点もあります。ただし、との関係の根底にある確率モデルはあるのうか。 $(x_t, y_t)$

\sum_{t = 0}^{\infty} k^{t} (y_{T - t} - a x_{T - t} - b)^{2}

$\sum_{t=0}^\infty k^{t} (y_{T-t}- a x_{T-t}-b)^2$

k \in (0, 1)

$k\in (0,1)$

x_{t}

$x_t$

y_{t}

$y_t$ この選択を正当化する。

regression least-squares

— ギャップのある
ソース

先日、関連するStackExchangeサイトのどこかで誰かがこのスキームについて「貧乏人のカルマンフィルター」とコメントしていました。リンクを見つけ出した場合は、ここに追加します。

— Dirk Eddelbuettel、

ありがとう。これをカルマンフィルターとしてリフレームできる方法を知りたいのですが。

— ギャップのある

正式な派生があるとは思えないため、貧しい人のバージョンの適応パラメータを引用しています。

— Dirk Eddelbuettel、

回答:

「線形関連」とは通常、

y_{t} = a x_{t} + b + ε_{t}

$y_t = a x_t + b + \varepsilon_t$

定数、およびiidのランダムエラー、。1が指数関数的に重み付けされたOLS推定値になるだろう一つの理由は、という疑いありと自身があまりにも、時間とともに変化する（ゆっくり）かもしれません。したがって、正しいモデルは $a$ $b$ $\varepsilon_t$ $t=0,1,\ldots,T$ $a$ $b$

y_{t} = α (t) x_{t} + β (t) + ε_{t}

$y_t = \alpha(t) x_t + \beta(t) + \varepsilon_t$

未知の関数である とは、時間とともにゆっくりと変化し（あるとしても）、現在の値を推定することに興味がありますとです。これらの関数が滑らかであると仮定して、テイラーの定理を適用できるようにします。これは、 $\alpha(t)$ $\beta(t)$ $a = \alpha_T$ $b = \beta_T$

α (t) = α (T) + α^{'} (t_{α, t}) (t - T)

$\alpha(t) = \alpha(T) + \alpha'(t_{\alpha,t})(t-T)$

一部の場合、同様に。我々は考えると、最新の値であるとしてとそれぞれを、。これを使用して残差を再表現します。 $t_{\alpha,t}, 0 \le t_{\alpha,t} \lt T$ $\beta(t)$ $a$ $b$ $\alpha_T$ $\beta_T$

y_{t} - (a x_{t} + b) = α^{'} (t_{α, t}) (t - T) x_{t} + β^{'} (t_{β, t}) (t - T) + ε_{t} .

$y_t - (a x_t + b) = \alpha'(t_{\alpha,t})(t-T)x_t + \beta'(t_{\beta,t})(t-T) + \varepsilon_t\text{.}$

今、多くの手を振る必要があります。右側全体がランダムであると見なします。その分散は、に、の分散を加えたものにを分散に掛けたものです。。これらの2つの分散は完全に不明ですが、（アブラカダブラ）は、体系的（ランダムではないが、まだ不明）な「エラー」または「変化」が1回から累積される何らかの（確率的）プロセスの結果として発生したと考えてみましょう他の。これは指数関数を示唆します $\varepsilon_t$ $x_t^2(t-T)^2$ $\alpha'(t_{\alpha,t})$ $(t-T)^2$ $\beta'(t_{\beta,t})$ これらの分散の経時変化。次に、右側の明示的な（ただし基本的には役に立たない）式を単純化し、二次項を指数関数に吸収します（とにかく乱暴に手を振っているので）。 $(t-T)^2$

y_{t} - (a x_{t} + b) = δ_{t}

$y_t - (a x_t + b) = \delta_t$

ある定数の場合、の分散はと等しくなります。間の可能な時間的相関を無視し、それらが正規分布であると仮定すると、データに比例する対数尤度を与えます $\delta_t$ $\exp(\kappa(t-T))$ $\kappa$ $\delta_t$

\sum_{t = 0}^{T} k^{- t} (y_{T - t} - a x_{T - t} - b)^{2}

$\sum_{t=0}^{T} k^{-t} (y_{T-t}- a x_{T-t}-b)^2$

（プラスにのみ依存無関係定数）と。したがって、の値を知っていると仮定すると、指数的に重み付けされたOLSプロシージャは、尤度を最大化します（プロファイル尤度プロシージャのようなもの）。 $k$ $k = \exp{\kappa}$ $k$

この全体的な導出は明らかに空想的ですが、指数重み付けは、時間の経過に伴う線形パラメーターの起こり得る変化に対処しようとする方法と、おおよその程度を示しています。これは、パラメーターをこれらのパラメーターの時間変化率に関連付けます。 $k$

— whuber
ソース

手を振る部分については同意します...明確に述べられている限り、回帰パラメーターの時変形式に関する仮定を単純化することに問題はありません。もちろん、既存の文献を自由に参照してください。

— ギャップのある

@whuber-指数的に重み付けされた回帰は、あなたが説明した特定のモデルにとって非常に大雑把な近似であると私は言うでしょう。しかし、それは別のモデルに対する正確な解決策になる可能性があります。あなたが説明するモデルでは、変動による異分散成分を含める方がはるかに優れています（または、変動がないと仮定し、ランダム切片を処理していると仮定します）。幾何学的な重み付けは常に最適ではないように見えますが、そうではありません。それはあなたの以前の情報に依存します。

α (t)

$\alpha(t)$

— 確率

@prob同意しますが、このアプローチを正確に正当化するモデルを見つけることができなかったので、そのようなモデルが必要とする可能性があることを指摘するために解決する必要がありました。お返事がこの方向に進んでいないことにも気づきました;-)。

— whuber

@whuber-正確ではないために、方程式のどこで近似を行うのですか？

— 確率

@確率あなたは正当な理由を提供しない：あなたは単に私がすでに投稿した結果を発表するだけです。言い換えると、OLSがそのような式を最小化すると、重み付き最小二乗が実際に行われることがわかります。わかりましたが、それは完全に明白ではありませんか？この重みの選択を正当化するものは何ですか？彼らはどこから来たのか？

— whuber

私はあなたが実際にあなたの体重としてを意味するか、またはだと思います。で、重みとしてを取る場合、です。したがって、これは現在の観測に最も重み付けしていません。たとえば、、など。 $k^{t}$ $k>1$ $0<k<1$ $k^{-t}$ $k^{-\infty}=\infty$ $k=0.5$ $k^{0}=1,\;k^{-1}=2,\;k^{-2}=4,\dots,k^{-20}\approx 10^{6}$

これは、観測ごとに分散がどのように変化するかについて知っていることを述べているだけです（時刻から時間を遡ると、分散は大きくなります）。 $T$

(y_{T - t} | x_{T - t}, a, b, k, s) \sim N o r m a l (a x_{T - t} + b, s^{2} k^{- t})

$(y_{T-t}|x_{T-t},a,b,k,s) \sim Normal(ax_{T-t}+b,s^{2}k^{-t})$

示すとには、次のような対数尤度があります。 $Y\equiv\{y_{T},y_{T-1},\dots,y_{1}\}$ $X\equiv\{x_{T},x_{T-1},\dots,x_{1}\}$

\log [p (Y | X, a, b, k, s)] = - \frac{1}{2} (T \log (2 π s^{2} k^{- t}) + \sum_{t = 0}^{T - 1} \frac{(y_{T - t} - a x_{T - t} - b)^{2}}{s^{2} k^{- t}})

$\log\left[p(Y|X,a,b,k,s)\right]=-\frac{1}{2}\left(T\log(2\pi s^{2} k^{-t})+\sum_{t=0}^{T-1}\frac{(y_{T-t}-ax_{T-t}-b)^{2}}{s^{2}k^{-t}}\right)$

したがって、と最尤推定値を取得するには、次の目的関数を使用します。 $a$ $b$

\sum_{t = 0}^{T - 1} k^{t} (y_{T - t} - a x_{T - t} - b)^{2}

$\sum_{t=0}^{T-1}k^{t}(y_{T-t}-ax_{T-t}-b)^{2}$

あなたが探しているのはどれですか

— 確率論的
ソース