ブートストラップされた回帰スロープを比較するにはどうすればよいですか？

それぞれ独立変数xと従属変数yのデータペアのn個の観測値を持つ2つのデータセットがあるとします。さらに、観測値を（置換を使用して）N回ブートストラップし、回帰y = a + bxを計算することにより、各データセットの回帰勾配の分布を生成すると仮定します。毎回。勾配が大幅に異なると言うために、2つの分布を比較するにはどうすればよいですか？分布の中央値間の差をテストするためのUテストはNに大きく依存します。つまり、ブートストラップを繰り返す頻度が高いほど、差は大きくなります。有意差を決定するために、分布間のオーバーラップをどのように計算する必要がありますか？

ブートストラップは、大規模なサンプル理論で想定されているものよりもサンプリング分布の堅牢な画像を取得するために行われます。ブートストラップするとき、取る「ブートサンプル」の数に事実上制限はありません。実際、より多くのブートサンプルを取得すればするほど、サンプリング分布に対するより良い近似が得られます。使用するのが一般的であるという数について何も魔法があるが、bootsamplesを。さらに、ブートサンプルでテストを実行しません。サンプリング分布の推定値があります。直接使用してください。アルゴリズムは次のとおりです。$B=10,000$

1. ブート監視を置換でサンプリングして、1つのデータセットのブートサンプルを取得します。[以下のコメントに関して、関連する質問の1つは、ブートサンプルに使用する有効な「ブート監視」を構成するものです。実際、いくつかの正当なアプローチがあります。堅牢でデータの構造をミラーリングできる2つについて説明します。観測データがある場合（つまり、データがすべての次元でサンプリングされた場合、ブート観測は順序付けられたnタプル（行など）になります。たとえば、1つの予測変数と1つの応答変数がある場合、n 1（x 、y ）をサンプリングします$n_1$$n_1$ $(x,y)$順序対。一方、実験データを操作する場合、予測変数値はサンプリングされませんでしたが、実験単位は各予測変数の意図したレベルに割り当てられました。このような場合、予測変数のjレベルのそれぞれから y値をサンプリングし、それらのyをその予測レベルの対応する値とペアにすることができます。この方法では、Xでサンプリングすることはありません。]$n_{1j}$ $y$$j$$y$$X$
2. あなたの回帰モデルを当てはめ、スロープ推定値を保存する（それが呼び出すβ 1）$\hat\beta_1$
3. ブート観測を置換でサンプリングして、他のデータセットのブートサンプルを取得します$n_2$
4. 他の回帰モデルを当てはめ、スロープ推定値を保存する（それが呼び出すβ 2）$\hat\beta_2$
5. 2つの推定値から統計量を形成する（提案：勾配差を使用β 1 - β 2）$\hat\beta_1-\hat\beta_2$
6. 統計を保存し、メモリを無駄にしないように他の情報をダンプします
7. 繰り返し手順1 - 6、倍$B=10,000$
8. 勾配差のブートストラップサンプリング分布を並べ替える
9. 0とオーバーラップするbsdの％（右テール％または左テール％のいずれか小さい方）を計算します
10. この割合に2を掛けます

統計的検定としてのこのアルゴリズムのロジックは、基本的に古典的な検定（t検定など）と似ていますが、データまたは結果のサンプリング分布に特定の分布があるとは想定していません。（たとえば、正規性を仮定していません。）あなたがしている主な仮定は、あなたのデータがあなたがサンプリングした/一般化したい母集団の代表であるということです。つまり、サンプル分布は母集団分布に似ています。データが関心のある母集団に関連していない場合、運が悪かったことに注意してください。

一部の人々は、正規性を引き受けたくない場合、例えば回帰モデルを使用して勾配を決定することを心配しています。しかし、この懸念は間違っています。ガウス-マルコフの定理は、推定値が不偏（つまり、真の値を中心とする）であるため、問題ないことを示しています。正規性の欠如は、真のサンプリング分布が理論的に仮定された分布と異なる可能性があることを意味しているため、p値は無効です。ブートストラップ手順は、この問題に対処する方法を提供します。

ブートストラップに関する他の2つの問題：古典的な仮定が満たされている場合、ブートストラップはパラメトリックテストよりも効率が低い（パワーが小さい）。第二に、ブートストラップは、分布の中心付近を探索しているときに最適に機能します。平均と中央値は良好で、四分位数はあまり良くない、最小または最大のブートストラップは必ず失敗します。最初の点に関しては、状況に応じてブートストラップする必要はありません。2番目の点に関しては、勾配のブートストラップは完全に問題ありません。

$s_i$

$$\begin{equation*}y_i = \beta_0 + \beta_1 x_i + \beta_2 s_i + \beta_3 s_i x_i + \epsilon_i \end{equation*}$$ $\beta_3$ $$\begin{align*} \text{E}[y_i \mid x, s_i = 1] &= (\beta_0 + \beta_2) + (\beta_1 + \beta_3) x_i \\ \text{E}[y_i \mid x, s_i = 0] &= \beta_0 + \beta_1 x_i. \end{align*}$$ $\beta_3$$n$$n$$2n$

エラー用語に相関関係がある場合は、この手順を少し変更する必要があるかもしれません。その場合は書き直してください。

このアプローチは、一見無関係な回帰（SUR）フレームワークに一般化できます。このアプローチでは、2つのデータセットで切片の係数と勾配を任意に変えることができます。

1回の回帰ですべてを行うことは適切であり、独立性の仮定は重要です。しかし、この方法でポイント推定値を計算するには、一定の分散は必要ありません。このRコードを試してください。

x <- rbinom(100, 1, 0.5)
z <- rnorm(100)
y <- rnorm(100)
coef(lm(y~x*z))
coef(lm(y~z, subset= x==1))[1] - coef(lm(y~z, subset= x==0))[1]
coef(lm(y~z, subset= x==1))[2] - coef(lm(y~z, subset= x==0))[2]

どちらの方法でも同じポイント推定値が得られます。標準誤差の推定には一定の分散が必要になる場合があります（どちらを使用するかによって異なります）が、ここで考慮されるブートストラップは推定標準誤差を使用しません。