直感的に、ワイルドブートストラップはどのように機能しますか？

私はワイルドブートストラップの背後にある直感を理解しようとしています。それは実際に何をしていますか？従来の回帰と比較して、何をしようとしているのかを理解できる必要があります。

私のデータには不均一性があり、私が使用する方法では5000回の複製を行っています。

どのようにして5000の追加データを生成しますか？

regression bootstrap intuition

あなたがトレーニングセットを持っているとしましょうのの例のペア。 $\mathcal{T}$ $n$ $(y_i, \vec{x}_i)$

通常のブートストラップは、例のペアセットです。ここで、は、1からまで一様にサンプリングされたランダムな整数のシーケンスです。特に、すべての例は例の1つとまったく同じであり、一部が繰り返されていることに注意してください。ただし、これは少し奇妙です。特に、応答変数が連続している場合は、元の母集団を再サンプリングした場合、1つの正確な複製さえも確実に得られず、ブートストラップには多くの可能性があるためです。 $\mathcal{B}$ $n$ $(y_{r_i}, \vec{x}_{r_i})$ $r_i$ $n$ $n$ $\mathcal{B}$ $\mathcal{T}$

回避の重複のために、我々はの例必要しませ炭素から例をコピーするが、より多くの我々は、元の母集団からサンプリングされた私たちがそれを得るだろうように見え、むしろ合成例。これには、元の人口の分布に関する仮定を行う必要があります。 $\mathcal{B}$ $\mathcal{T}$

等分散性を仮定して、残差を持つ線形モデルを近似すると、各例の近似残差を別のトレーニング例の残差で置き換えることにより、新しい合成例を構築できます。残差が本当にiidである場合、問題なく交換できます。この置き換えは、トレーニング例で見つかった残差を差し引き、他の例の残差を追加することで行います。 $\mathcal{T}$ $e_i$ $(y_i, \vec{x}_i)$

\begin{matrix} (1) & y_{i}^{*} = y_{r_{i}} - e_{r_{i}} + e_{r_{i}^{'}} \end{matrix}

$y^*_i = y_{r_i} - e_{r_i} + e_{r'_i} \tag{1}$

ここで、とは2つの異なる独立したリサンプリングです。その後、通常の方法でブートストラップを作成できます。 $r_i$ $r'_i$

\begin{matrix} (2) & B = {(y_{i}^{*}, {\vec{x}}_{i})}_{i = 1}^{n} \end{matrix}

$\mathcal{B} = \{\, (y^*_i, \vec{x}_i)\, \}_{i=1}^n \tag{2}$

これは残差ブートストラップと呼ばれ、残差の経験分布関数から新しい残差を選択するものと考えることができます。

iidとホモスケダスティシティの仮定をさらに緩和するために、ワイルドブートストラップを使用できます。ここでは、ランダムに選択された残差にさらに別のランダム変数掛けて、新しい応答変数をさらにランダムに計算します。 $v_i$

\begin{matrix} (3) & y_{i}^{*} = y_{r_{i}} - e_{r_{i}} + v_{i} e_{r_{i}^{'}} \end{matrix}

$y^*_i = y_{r_i} - e_{r_i} + v_i e_{r'_i} \tag{3}$

多くの場合、標準正規分布が使用されますが、他の選択も可能です。たとえば、はから等確率で単に選択される場合があります。これにより、符号がランダムに半分だけランダムに反転し、残差分布が対称になります。ポイントは、ブートストラップによって導入された人工的な複製なしで、元の母集団から引き出されたものに近いトレーニング例を取得することです。 $v_i \sim \mathcal{N}(0, 1)$ $v_i$ $\{-1,1\}$

— Olooney
ソース

基本的に、実際の残差と同じように動作するエラーを生成し、実際のデータと同じように機能する実際のデータを取得しますか？よく覚える教科書はありますか？

— フランシスオリギ

では、この追加のデータすべてをどうするのでしょうか。t統計などをどのように計算しますか？

— フランシスオリギ