線形回帰の系統的/測定誤差

8

一連のデータがあり、測定の不確かさ（測定装置からの系統誤差の伝搬から生じる）がそれぞれ異なると仮定しますポイント。データセットに対して線形回帰を行う場合、勾配の不確実性を計算するにはどうすればよいですか？明示的な手順または式を教えてください。 ${(x_i,y_i)}$ ${(\Delta x_i,\Delta y_i)}$

linear-model measurement-error errors-in-variables

— イヴァン・マウリシオ・ブルバーノ
ソース

2

どの測定誤差がより大きなものかを知っていますか？

— Dimitriy V. Masterov

1

デルタとは、連続した測定値の違いを意味しますか？データはシーケンシャルですか？エラーには相関関係があると思いますか？相関関係が弱まることを期待していますか？何らかの独立したレプリケーションはありますか？具体的な回答を提供するには、さらに情報が必要です。

— user3903581

あなたが探している用語はエラー伝播です。入力側にエラーがあり、そこから2つのパラメーターを計算（より具体的には、推定）します。残念ながら、「線形回帰」という名前は（人気のある）モデルを表すだけで、パラメーターを推定する方法は表しません。最もよく使用される方法については、おそらく解を調べることができます（たとえば、最小二乗法）。そうでない場合は、分析的に計算するか、数値評価で概算できます。

— ケルビム2018年

4

whereとして実験をモデル化でき真の値を示す、は測定エラー、は観測から独立した「固定」コンポーネント（センサーの誤ったキャリブレーションから発生する可能性があります）、は観測から観察し、私たちがランダムとして扱う多くの可能な要因に対応します。

x_{i} = x_{i}^{*} + {\tilde{u}}_{i}

$x_i=x_i^*+\tilde u_i$

y_{i} = y_{i}^{*} + {\tilde{v}}_{i}

$y_i=y_i^*+\tilde v_i$

{\tilde{u}}_{i} = \bar{u} + v_{i}

$\tilde u_i=\bar u + v_i$

{\tilde{v}}_{i} = \bar{v} + u_{i}

$\tilde v_i=\bar v + u_i$

x_{i}^{*}, y_{i}^{*}

$x_i^*, y_i^*$

{\tilde{u}}_{i}, {\tilde{v}}_{i}

$\tilde u_i,\tilde v_i$

\bar{u}, \bar{v}

$\bar u,\bar v$

u, v

$u,v$

単純な線形回帰はあり、勾配のOLS推定はただし、得られるのは

y_{私}^{*} = α + β {バツ}_{私}^{*} + e_{私}

$y_i^*=\alpha+\beta x_i^*+e_i$

\hat{β} = \frac{C o v （ {バツ}^{*} 、 y^{*} ）}{V a r （ {バツ}^{*} ）}

$\hat\beta=\frac{Cov(x^*,y^*)}{Var(x^*)}$

\overset{〜}{β} = \frac{C o v （ バツ 、 y ）}{V a r （ バツ ）} = \frac{C o v （ {バツ}^{*} + あなた 、 y^{*} + v ）}{V a r （ {バツ}^{*} + あなた ）} = \frac{C o v （ {バツ}^{*} 、 y^{*} ） + C o v （ {バツ}^{*} 、 v ） + C o v （ y^{*} 、 あなた ） + C o v （ あなた 、 v ）}{V a r （ {バツ}^{*} ） + V a r （ あなた ） + 2 C o v （ バツ 、 あなた ）}

$\tilde\beta=\frac{Cov(x,y)}{Var(x)}=\frac{Cov(x^* + u,y^*+ v)}{Var(x^* + u)}=\frac{Cov(x^*,y^*)+Cov(x^*,v)+Cov(y^*,u)+Cov(u,v)}{Var(x^*) + Var(u) + 2Cov(x,u)}$

ここで、がと相互に無相関であると仮定します（エラーの性質についてより多くの推論がある場合に改善できるかなり強い仮定）。次に、をサンプル変動として推定できます。も推定する必要があります。複数回観察できる実験がある場合、1つの簡単なアプローチは、 ] を推定することです。 $v,u$ $x^*,y^*$

\overset{〜}{β} = β \frac{σ_{{バツ}^{*}}^{2}}{σ_{{バツ}^{*}}^{2} + σ_{あなた}^{2}} \approx β \frac{{\hat{σ}}_{バツ}^{2} - {\hat{σ}}_{あなた}^{2}}{{\hat{σ}}_{バツ}^{2}} = β \hat{λ}

$\tilde\beta=\beta\frac{\sigma^2_{x^*}}{\sigma^2_{x^*}+\sigma^2_{u}}\approx\beta\frac{\hat\sigma^2_x-\hat\sigma^2_u}{\hat\sigma^2_x}=\beta\hat\lambda$

{\hat{σ}}_{x}^{2}

$\hat\sigma^2_x$

x_{i}

$x_i$

σ_{u}^{2}

$\sigma^2_u$

x_{i}^{*}

$x^*_i$

σ_{u}^{2} = E [σ_{x}^{2} | x_{i}^{*}

$\sigma^2_u=E[\sigma^2_x|x^*_i$

これで、たとえばブートストラップメソッドで計算されたを使用して、を修正し、。 $\hat\sigma^2_{\tilde\beta}$ $\hat\beta =\tilde\beta /\hat\lambda$

{\hat{σ}}_{\hat{β}}^{2} = \frac{{\hat{σ}}_{\overset{〜}{β}}^{2}}{{\hat{λ}}^{2}}

$\hat\sigma^2_{\hat\beta}=\frac{\hat\sigma^2_{\tilde\beta}}{\hat\lambda^2}$

— イシロフ
ソース

3

@yshilovによって与えられた答えは、測定誤差を誤差項に考慮することによって間違いなく素晴らしいと思い、結果を大幅に推定します

\overset{〜}{β} = β \frac{σ_{バツ}^{2}}{σ_{バツ}^{2} + σ_{あなた}^{2}}

$\tilde \beta = \beta \frac{\sigma_x^2}{\sigma_x^2 + \sigma_u^2}$

詳しく説明すると、このベータには、推定量が偏っているが0に偏っているという特別な特性があります。具体的には、線形回帰の場合、 $E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

証明は次のとおりです。単純な線形回帰では、測定エラーの場合、、、および、私たちが得ると仮定すると、、と真の予測値の分散

{\hat{β}}_{1} = \frac{Σ_{私 = 1}^{ん} （ {バツ}_{私} - \bar{バツ} ） y_{私}}{Σ_{私 = 1}^{ん} （ {バツ}_{私} - \bar{バツ} ）^{2}}

$\hat \beta_1 = \frac{\sum_{i=1}^n(x_i-\bar x)y_i}{\sum_{i=1}^n(x_i-\bar x)^2}$

x_{i}^{O} = x_{i}^{A} = δ_{i}

$x_i^O=x_i^A=\delta_i$

y_{i}^{O} = y_{i}^{A} + ϵ_{i}

$y_i^O=y_i^A+\epsilon_i$

y_{i}^{A} = β_{0} + β_{1} x_{i}^{A}

$y_i^A=\beta_0 +\beta_1 x_i^A$

y_{私}^{O} = β_{0} + β_{1} （ {バツ}_{私}^{O} - δ_{私} ） + ε_{私} = β_{0} + β_{1} {バツ}_{私}^{O} + （ ε_{私} - β_{1} δ_{私} ）

$y_i^O=\beta_0+\beta_1(x_i^O-\delta_i)+\epsilon_i=\beta_0+\beta_1x_i^O+(\epsilon_i-\beta_1 \delta_i)$

E (ϵ_{i}) = E (δ_{i}) = 0

$E(\epsilon_i)=E(\delta_i)=0$

v a r (ϵ_{i}) = σ_{ϵ}^{2}

$var(\epsilon_i)=\sigma_{\epsilon}^2$

v a r (δ_{i}) = σ_{δ}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (δ_{i} - \bar{δ})^{2}

$var(\delta_i)=\sigma_{\delta}^2 = \frac{1}{n}\sum_{i=1}^n(\delta_i-\bar \delta)^2$

σ_{x}^{2} = \frac{\sum (x_{i}^{A} - \bar{x^{A}})^{2}}{n}

$\sigma_{x}^2=\frac{\sum(x_i^A-\bar {x^A})^2}{n}$ 真の予測子と誤差の相関、次に

σ_{x δ} = c o v (x^{A}, δ) = \frac{1}{n} \sum_{i = 1}^{n} (x_{i}^{A} - \bar{x_{i}^{A}}) (δ_{i} - \bar{δ})

$\sigma_{x \delta}=cov(x^A,\delta)= \frac{1}{n}\sum_{i=1}^n(x_i^A-\bar {x_i^A})(\delta_i- \bar \delta)$

c o v （ {バツ}_{私}^{O} 、 δ ） = E （ {バツ}_{私}^{O} δ ） - E （ {バツ}_{私}^{O} ） \cdot E （ δ ） = E （ {バツ}_{私}^{O} δ ） = E [（ {バツ}_{私}^{あ} + δ ） δ] = E （ {バツ}_{私}^{あ} δ ） + E （ δ^{2} ）

$cov(x_i^O,\delta)=E(x_i^O\delta)-E(x_i^O)\cdot E(\delta)=E(x_i^O\delta)=E[(x_i^A+\delta)\delta]=E(x_i^A \delta)+E(\delta^2)$

= [E （ {バツ}_{私}^{あ} δ ） - E （ {バツ}_{私}^{あ} ） \cdot E （ δ ）] + [v a r （ δ ） + [E （ δ ）]^{2}] = c o v （ {バツ}_{私}^{あ} 、 δ ） + σ_{δ}^{2} = σ_{バツ δ} + σ_{δ}^{2}

$=\big[E(x_i^A \delta)-E(x_i^A)\cdot E(\delta)\big]+\big[var(\delta)+[E(\delta)]^2\big]=cov(x_i^A,\delta)+\sigma_{\delta}^2=\sigma_{x\delta}+\sigma_{\delta}^2$ 次に、と共分散の双線形性プロパティにより、期待値は

\bar{x} = E (x_{i})

$\bar x = E(x_i)$

{\hat{β}}_{1}

$\hat \beta_1$

E （ {\hat{β}}_{1} ） = E [\frac{Σ_{私 = 1}^{ん} （ {バツ}_{私}^{O} - {\bar{バツ}}^{O} ） y_{私}^{O}}{Σ_{私 = 1}^{ん} （ {バツ}_{私}^{O} - {\bar{バツ}}^{O} ）^{2}}] = \frac{E （ Σ_{私 = 1}^{ん} {バツ}_{私}^{O} y_{私}^{O} ） - E （ Σ_{私 = 1}^{ん} {\bar{バツ}}^{O} y_{私}^{O} ）}{Σ_{私 = 1}^{ん} E [（ {バツ}_{私}^{O} - E （ {バツ}_{私}^{O} ） ）^{2}]} = \frac{E （ Σ_{私 = 1}^{ん} {バツ}_{私}^{O} y_{私}^{O} ） - E （ {バツ}_{私}^{O} ） \cdot E （ Σ_{私 = 1}^{ん} y_{私}^{O} ）}{Σ_{私 = 1}^{ん} v a r （ {バツ}_{私}^{O} ）}

$E(\hat \beta_1)=E\Big[\frac{\sum_{i=1}^n(x_i^O-\bar x^O)y_i^O}{\sum_{i=1}^n(x_i^O-\bar x^O)^2}\Big]=\frac{E(\sum_{i=1}^nx^O_iy_i^O)-E(\sum_{i=1}^n \bar x^Oy_i^O)}{\sum_{i=1}^n E\big[(x_i^O-E(x_i^O))^2\big]}=\frac{E(\sum_{i=1}^nx_i^Oy_i^O)-E(x_i^O)\cdot E(\sum_{i=1}^n y_i^O)}{\sum_{i=1}^nvar(x_i^O)}$

= \frac{\sum_{i = 1}^{n} c o v (y_{i}^{O}, x_{i}^{O})}{\sum_{i = 1}^{n} v a r (x_{i}^{O})} = \frac{\sum_{i = 1}^{n} c o v (β_{0} + β_{1} x_{i}^{O} + ϵ_{i} - β_{1} δ_{i}, x_{i}^{O})}{\sum_{i = 1}^{n} v a r (x_{i}^{O})} = \frac{β_{1} \cdot \sum_{i = 1}^{n} v a r (x_{i}^{O}) - β_{1} \cdot \sum_{i = 1}^{n} c o v (x_{i}^{O}, δ_{i})}{\sum_{i = 1}^{n} v a r (x_{i}^{O})}

$=\frac{\sum_{i=1}^ncov(y_i^O,x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\sum_{i=1}^ncov(\beta_0+\beta_1x_i^O+\epsilon_i-\beta_1\delta_i,~x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\beta_1\cdot \sum_{i=1}^nvar(x_i^O)-\beta_1\cdot \sum_{i=1}^ncov(x_i^O, \delta_i)}{\sum_{i=1}^nvar(x_i^O)}$

= β_{1} \cdot [1 - \frac{\sum_{i = 1}^{n} c o v (x_{i}^{O}, δ_{i}) / n}{\sum_{i = 1}^{n} v a r (x_{i}^{A} + δ_{i}) / n}] = β_{1} \cdot [1 - \frac{σ_{x δ} + σ_{δ}^{2}}{σ_{x}^{2} + 2 c o v (x_{i}^{A}, δ_{i}) + σ_{δ}^{2}}] = β_{1} \cdot [\frac{σ_{x}^{2} + σ_{x δ}}{σ_{x}^{2} + 2 σ_{x δ} + σ_{δ}^{2}}]

$=\beta_1 \cdot \Big[ 1-\frac{{\sum_{i=1}^ncov(x_i^O,\delta_i)}/{n}}{\sum_{i=1}^nvar(x_i^A+\delta_i)/n}\Big]=\beta_1 \cdot\Big[1-\frac{\sigma_{x\delta}+\sigma_{\delta}^2}{\sigma_x^2+2cov(x_i^A,\delta_i)+\sigma_{\delta}^2}\Big] =\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$ 必要に応じて、。したがって、結果は定評があります。

E ({\hat{β}}_{1}) = β_{1} \cdot [\frac{σ_{x}^{2} + σ_{x δ}}{σ_{x}^{2} + 2 σ_{x δ} + σ_{δ}^{2}}]

$E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

— 息子
ソース

1

私は同様の問題を抱えています- ここに投稿されました -まだ特定の答えはありません。今のところ私がやったことは、非常によく似たXのセットを集めて、それらの行の中でYに大きな変化があるかどうかを確認することです。別の種類のアプローチは、シミュレーションです。データセットから単一のXを使用しますが、予測子の系統的エラー（rnorm（...、0,0.3）など）に従って行を複製します。勾配の信頼区間は、系統誤差範囲に似ている場合があります。

— パオロ・ナダルティ
ソース

0

データにはパラメトリックブートストラップをお勧めします。これは、実際のデータセットに類似しているが、各観測の不確実性によって暗示される程度が異なる新しいデータセットを生成することを意味します。

そのための疑似コードを以下に示します。rnormR言語では通常のように、へのベクトル入力を使用していることに注意してください。また、あなたがと呼んでいるものは標準エラーであると想定しています。 $\Delta$

For each b in 1...B:
    x_PB = rnorm(x, x_se)
    y_PB = rnorm(y, y_se)
    r[b] = cor(x_PB, y_PB)

次に、rの値の分布を確認します。

— rcorty
ソース