ブートストラップ有意性検定の2つの方法

ブートストラップを使用して、2つの方法を使用して有意差検定のp値を計算します。

帰無仮説の下でリサンプリングし、元のデータからの結果と少なくとも同じくらい極端な結果をカウントする
対立仮説の下でリサンプリングし、帰無仮説に対応する値と少なくとも元の結果から離れた結果をカウントする

^最初のアプローチは、p値の定義に従っているため、完全に正しいと思います。2番目についてはよくわかりませんが、通常は非常によく似た結果が得られ、Waldテストを思い出させます。

私は正しいですか？どちらの方法も正しいですか？それらは同じですか（大きなサンプルの場合）？

^{2つの方法の例（DWinの質問とErikの回答の後に編集）：

例1. 2つのサンプルのT検定に似たブートストラップ検定を作成してみましょう。方法1は、1つのサンプルからリサンプリングします（元の2つをプールすることによって取得されます）。方法2では、両方のサンプルから個別にリサンプリングします。

例2.x₁…xₐとy₁…yₐ間の相関のブートストラップテストを作成してみましょう。方法1は、相関がないと仮定し、（xₑ、yₔ）ペアを考慮してリサンプリングします。ここでe≠əです。方法2は、元の（x、y）ペアのブートストラップサンプルをコンパイルします。

例3.コインが公正かどうかを確認するブートストラップテストを作成してみましょう。方法1では、Pr（head）= Pr（tail）=½を設定してランダムサンプルを作成します。方法2は、実験的なヘッド/テール値のサンプルをリサンプリングし、比率をtoと比較します。}

statistical-significance bootstrap p-value

— ワインダー
ソース

どの「対立仮説」？伝統的なフィッシャーの命名法では、選択肢は1つだけではなく、選択肢が無限にあります。そして、その問題について「仮説の下でサンプリングする」にはどうすればよいでしょうか。データのサンプリングが行われます。仮説はパラメータに関するものです。

— DWin 2013

@DWin：おかげで、私の質問に追加された私の例を参照してください。

— ワインダー2013

最初のアプローチは古典的で信頼できるものですが、常に使用できるわけではありません。帰無仮説を仮定してブートストラップサンプルを取得するには、保持する理論上の分布を仮定するか（これが最初のオプションです）、または帰無仮説にシフトしたときに関心のある統計が同じ分布形状であると仮定する必要があります（2番目のオプション））。たとえば、通常の仮定では、t分布は別の平均にシフトしたときに同じ形状になります。ただし、二項分布の0.5のヌル周波数を0.025に変更すると、形状も変更されます。

私の経験では、そうでない場合、これらの仮定を進んで行う場合は、他のオプションも選択できることがよくあります。あなたの例1）では、両方のサンプルが同じ基本母集団からのものである可能性があると想定しているように思われますが、私の考えでは順列検定の方が良いでしょう。

ブートストラップ信頼区間に基づく別のオプション（2番目の選択肢のようです）があります。基本的に、これは、指定されたカバレッジがレベルでの有意性が信頼区間に含まれていない帰無仮説と同等であると想定している場合を想定しています。たとえば、この質問を参照してください：信頼区間と仮説検定の違いは何ですか？ $\alpha$ $(1-\alpha)$

これは非常に柔軟な方法であり、多くのテストに適用できます。ただし、優れたブートストラップ信頼区間を構築することは非常に重要であり、Wald近似やパーセンタイル法を使用するだけではありません。いくつかの情報はこちら：ブートストラップベースの信頼区間

— エリック
ソース

素敵な答え。したがって、2番目のオプションには対称性も必要です。信頼区間の平均が0よりも大きく、Hが0ではないことを考慮していると仮定します。次に、信頼区間の0がどこにあるかを見るのは、Hがないと仮定して平均値がどの程度極端であるかを見るのとは異なります（信頼区間をシフトしていると仮定すると、これらは2つの異なる方向にあります）。

— michal 2015年

@erikは、同様の質問（基本的には上記のコメントの長い風の強いバージョン）で賞金を獲得しました-いつオプション2を使用できますか？stats.stackexchange.com/questions/175659/...

— ザビエル・ブーレSicotte