影響関数とOLS

影響関数の働きを理解しようとしています。誰かが簡単なOLS回帰の文脈で説明できますか

y_{i} = α + β \cdot x_{i} + ε_{i}

$\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation}$

私はしたい場所影響関数を用。 $\beta$

regression least-squares

— stevejb
ソース

まだ具体的な質問はありません。影響関数の計算方法を確認しますか？特定の経験的な例が必要ですか？それが何を意味するかのヒューリスティックな説明？

— whuber

フランク・クリッチリーの1986年の論文「主成分の影響機能」を調べると（論文の正確な名前を思い出せません）。彼はここで通常の回帰の影響関数を定義します（これは私の答えが間違っていることを証明する場合としない場合があります）。

— 確率論的

影響関数は基本的に、統計を再計算することなく、統計の値に対する観測値を削除することの影響（または「影響」）を評価するために使用できる分析ツールです。また、漸近分散の推定値を作成するためにも使用できます。影響が等しい場合、漸近分散は $I$ 。 $\frac{I^2}{n}$

私が影響関数を理解する方法は次のとおりです。で表される、ある種の理論的なCDFがあります。単純なOLSの場合、 $F_{i}(y)=Pr(Y_{i}<y_{i})$

ここで、標準正規累積分布関数であり、誤差の分散です。これで、統計がこのCDFの関数になることを示すことができるため、という表記（つまり、関数）になります。今、私たちは、機能変更と仮定する、 "少し"で

P r (Y_{i} < y_{i}) = P r (α + β x_{i} + ϵ_{i} < y_{i}) = Φ (\frac{y_{i} - (α + β x_{i})}{σ})

$Pr(Y_{i}<y_{i})=Pr(\alpha+\beta x_{i} + \epsilon_{i} < y_{i})=\Phi\left(\frac{y_{i}-(\alpha+\beta x_{i})}{\sigma}\right)$

Φ (z)

$\Phi(z)$

σ^{2}

$\sigma^2$

S (F)

$S(F)$

F

$F$

F

$F$

ここで、

、および

F_{(i)} (z) = (1 + ζ) F (z) - ζ δ_{(i)} (z)

$F_{(i)}(z)=(1+\zeta)F(z)-\zeta \delta_{(i)}(z)$

δ_{i} (z) = I (y_{i} < z)

$\delta_{i}(z)=I(y_{i}<z)$

。したがって、

は、「i番目」のデータポイントが削除されたデータのCDFを表します。私たちは、のテイラー級数行うことができます

について

。これは与える：

ζ = \frac{1}{n - 1}

$\zeta=\frac{1}{n-1}$

F_{(i)}

$F_{(i)}$

F_{(i)} (z)

$F_{(i)}(z)$

ζ = 0

$\zeta=0$

S [F_{(i)} (z, ζ)] \approx S [F_{(i)} (z, 0)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F_{(i)}(z,0)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

なお、我々が得るように： $F_{(i)}(z,0)=F(z)$

S [F_{(i)} (z, ζ)] \approx S [F (z)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F(z)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

ここでの偏微分は影響関数と呼ばれます。したがって、これは、「i番目」の観測を削除したために統計に対して行われる「一次」近似の補正を表します。回帰では、残りは漸近的にゼロにならないので、これは実際に得られる可能性のある変更の近似値であることに注意してください。を次のように記述します。 $\beta$

β = \frac{\frac{1}{n} \sum_{j = 1}^{n} (y_{j} - \bar{y}) (x_{j} - \bar{x})}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}

$\beta=\frac{\frac{1}{n}\sum_{j=1}^{n}(y_{j}-\overline{y})(x_{j}-\overline{x})}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}$

したがって、ベータは2つの統計の関数です。Xの分散とXとYの間の共分散です。これらの2つの統計は、CDFに関して次のように表されます。

c o v (X, Y) = \int (X - μ_{x} (F)) (Y - μ_{y} (F)) d F

$cov(X,Y)=\int(X-\mu_x(F))(Y-\mu_y(F))dF$

v a r (X) = \int (X - μ_{x} (F))^{2} d F

$var(X)=\int(X-\mu_x(F))^{2}dF$

μ_{x} = \int x d F

$\mu_x=\int xdF$

$F\rightarrow F_{(i)}=(1+\zeta)F-\zeta \delta_{(i)}$

μ_{x (i)} = \int x d [(1 + ζ) F - ζ δ_{(i)}] = μ_{x} - ζ (x_{i} - μ_{x})

$\mu_{x(i)}=\int xd[(1+\zeta)F-\zeta \delta_{(i)}]=\mu_x-\zeta(x_{i}-\mu_x)$

V a r (X)_{(i)} = \int (X - μ_{x (i)})^{2} d F_{(i)} = \int (X - μ_{x} + ζ (x_{i} - μ_{x}))^{2} d [(1 + ζ) F - ζ δ_{(i)}]

$Var(X)_{(i)}=\int(X-\mu_{x(i)})^{2}dF_{(i)}=\int(X-\mu_x+\zeta(x_{i}-\mu_x))^{2}d[(1+\zeta)F-\zeta \delta_{(i)}]$

$\zeta^{2}$

V a r （ バツ ）_{（ 私 ）} \approx V a r （ バツ ） - ζ [（ {バツ}_{私} - μ_{バツ} ）^{2} - V a r （ バツ ）]

$Var(X)_{(i)}\approx Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]$

C o v （ バツ 、 Y ）_{（ 私 ）} \approx C o v （ バツ 、 Y ） - ζ [（ {バツ}_{私} - μ_{バツ} ） （ y_{私} - μ_{y} ） - C o v （ バツ 、 Y ）]

$Cov(X,Y)_{(i)}\approx Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]$

$\beta_{(i)}$ $\zeta$

β_{（ 私 ）} （ ζ ） \approx \frac{C o v （ バツ 、 Y ） - ζ [（ {バツ}_{私} - μ_{バツ} ） （ y_{私} - μ_{y} ） - C o v （ バツ 、 Y ）]}{V a r （ バツ ） - ζ [（ {バツ}_{私} - μ_{バツ} ）^{2} - V a r （ バツ ）]}

$\beta_{(i)}(\zeta)\approx \frac{Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]}{Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]}$

これで、テイラーシリーズを使用できます。

β_{（ 私 ）} （ ζ ） \approx β_{（ 私 ）} （ 0 ） + ζ {[\frac{\partial β_{（ 私 ）} （ ζ ）}{\partial ζ}]}_{ζ = 0}

$\beta_{(i)}(\zeta)\approx \beta_{(i)}(0)+\zeta\left[\frac{\partial \beta_{(i)}(\zeta)}{\partial \zeta}\right]_{\zeta=0}$

これを単純化すると、次のようになります。

β_{（ 私 ）} （ ζ ） \approx β - ζ [\frac{（ {バツ}_{私} - μ_{バツ} ） （ y_{私} - μ_{y} ）}{V a r （ バツ ）} - β \frac{（ {バツ}_{私} - μ_{バツ} ）^{2}}{V a r （ バツ ）}]

$\beta_{(i)}(\zeta)\approx \beta-\zeta\left[\frac{(x_{i}-\mu_x)(y_{i}-\mu_y)}{Var(X)}-\beta\frac{(x_{i}-\mu_x)^2}{Var(X)}\right]$

$\mu_y$ $\mu_x$ $var(X)$ $\zeta=\frac{1}{n-1}$

β_{（ 私 ）} \approx β - \frac{{バツ}_{私} - \bar{バツ}}{ん - 1} [\frac{y_{私} - \bar{y}}{\frac{1}{ん} Σ_{j = 1}^{ん} （ {バツ}_{j} - \bar{バツ} ）^{2}} - β \frac{{バツ}_{私} - \bar{バツ}}{\frac{1}{ん} Σ_{j = 1}^{ん} （ {バツ}_{j} - \bar{バツ} ）^{2}}]

$\beta_{(i)}\approx \beta-\frac{x_{i}-\overline{x}}{n-1}\left[\frac{y_{i}-\overline{y}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}-\beta\frac{x_{i}-\overline{x}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}\right]$

$\tilde{x}=\frac{x-\overline{x}}{s_{x}}$

β_{（ 私 ）} \approx β - \frac{\overset{〜}{{バツ}_{私}}}{ん - 1} [\overset{〜}{y_{私}} \frac{s_{y}}{s_{バツ}} - \overset{〜}{{バツ}_{私}} β]

$\beta_{(i)}\approx \beta-\frac{\tilde{x_{i}}}{n-1}\left[\tilde{y_{i}}\frac{s_y}{s_x}-\tilde{x_{i}}\beta\right]$

— 確率論的
ソース

それで、話は追加のデータポイントの影響についてですか？私は時系列データのインパルス応答により慣れています。統計的な文脈では、すべての影響は、標準化された回帰からの限界効果または（より良い選択）ベータ係数によって記述されます。さて、質問と答えを判断するために本当により多くのコンテキストが必要ですが、これは素晴らしいと思います（+1はまだですが、待っています）。

— Dmitrij Celov 2011年

@dmitrij-それはリンクから暗示された（または私が推測した）ものです-これは統計の堅牢性プロパティに関するものです。影響関数は、1データポイントよりも少し一般的です。デルタ関数を再定義して、それらを合計することができます（非常に多くの観測）。モデルを再フィッティングする必要がないので、私はそれをある程度「安いジャックナイフ」と考えます。

— 確率

これは、回帰の影響関数について話す非常に一般的な方法です。まず、影響関数を表示する1つの方法に取り組みます。

$F$ $\Sigma$ $F_\epsilon(x)$

F_{ε} （ バツ ） = （ 1 - ε ） F + ε δ_{バツ}

$F_\epsilon(x)=(1-\epsilon)F+\epsilon\delta_x$

δ_{x}

$\delta_x$

Σ

$\Sigma$

{x}

$\{x\}$

Σ

$\Sigma$

これから、影響関数をかなり簡単に定義できます。

$\hat{\theta}$ $F$ $\psi_i:\mathcal{X}\to\Gamma$

ψ_{\hat{θ} 、 F} （ バツ ） = \underset{ε \to 0}{リム} \frac{\hat{θ} （ F_{ε} （ バツ ） ） - \hat{θ} （ F ）}{ε}

$\begin{equation} \psi_{\hat{\theta},F}(x)=\lim\limits_{\epsilon\to 0}\dfrac{\hat{\theta}(F_\epsilon(x))-\hat{\theta}(F)}{\epsilon} \end{equation}$

$\hat\theta$ $F$ $\delta_x$

OLS推定は問題の解決策です。

\hat{θ} = \arg \underset{θ}{分} E [（ Y - バツ θ ）^{T} （ Y - バツ θ ）]

$\hat\theta=\arg\min_\theta E[(Y-X\theta)^T(Y-X\theta)]$

$(x,y)$

{\hat{θ}}_{ε} = \arg \underset{θ}{分} （ 1 - ε ） E [（ Y - バツ θ ）^{T} （ Y - バツ θ ）] + ε （ y - バツ θ ）^{T} （ y - バツ θ ）

$\hat\theta_\epsilon = \arg\min_\theta (1-\epsilon)E[(Y-X\theta)^T(Y-X\theta)]+\epsilon (y-x\theta)^T(y-x\theta)$

一次条件をとる：

{（ 1 - ε ） E [{バツ}^{T} バツ] + ε {バツ}^{T} バツ} {\hat{θ}}_{ε} = （ 1 - ε ） E [{バツ}^{T} Y] + ε {バツ}^{T} y

$\left\{(1-\epsilon)E[X^TX]+\epsilon x^Tx\right\}\hat\theta_\epsilon = (1-\epsilon)E[X^TY]+\epsilon x^Ty$

インフルエンス関数はちょうどガトー導関数であるため、次のように言うことができます。

- （ E [{バツ}^{T} バツ] + {バツ}^{T} バツ ） {\hat{θ}}_{ε} + E [{バツ}^{T} バツ] ψ_{θ} （ バツ 、 y ） = - E [{バツ}^{T} Y] + {バツ}^{T} y

$-(E[X^TX]+x^Tx)\hat\theta_\epsilon + E[X^TX]\psi_{\theta}(x,y) = -E[X^TY] + x^Ty$

$\epsilon=0$ $\hat\theta_\epsilon=\hat\theta=E[X^TX]^{-1}E[X^TY]$

ψ_{θ} （ バツ 、 y ） = E [{バツ}^{T} バツ]^{- 1} {バツ}^{T} （ y - バツ θ ）

$\psi_{\theta}(x,y)=E[X^TX]^{-1}x^T(y-x\theta)$

この影響関数の対応する有限サンプルは次のとおりです。

ψ_{θ} （ バツ 、 y ） = {（ \frac{1}{N} \underset{私}{Σ} {バツ}_{私}^{T} {バツ}_{私} ）}^{- 1} {バツ}^{T} （ y - バツ θ ）

$\psi_{\theta}(x,y)=\left(\dfrac{1}{N}\sum_i X_i^TX_i\right)^{-1}x^T(y-x\theta)$

一般に、このフレームワーク（インフルエンス関数をGateaux誘導体として使用する）の方が扱いやすいと思います。

— ジェイク
ソース