ブートストラップ、置換テスト、ジャックナイフなど、実際によく使用されるいくつかの一般的なリサンプリング手法があります。たとえば、Philip I Good（2010）Permutation、Parametric、Bootstrap Tests仮説の
私の質問は、どのリサンプリング手法がより人気があり、実装しやすいのですか？ブートストラップまたは置換テスト？
回答:
どちらも人気があり便利ですが、主にさまざまな用途に使用されます。順列検定は仮説の検定に最適であり、ブートストラップは信頼区間の推定に最適です。
順列検定では、交換可能性の特定の帰無仮説、つまり、ランダムサンプリング/ランダム化のみが見られる違いを説明するという仮説をテストします。これは、t検定やANOVAなどの一般的なケースです。また、時系列（連続相関がないという帰無仮説）や回帰（関係のない帰無仮説）などに拡張することもできます。順列検定は信頼区間を作成するために使用できますが、より多くの仮定が必要であり、合理的である場合とそうでない場合があります（したがって、他の方法が推奨されます）。Mann-Whitney / Wilcoxonテストは、実際には置換テストの特別なケースであるため、一部の人が理解するよりもはるかに人気があります。
ブートストラップは、サンプリングプロセスの変動性を推定し、信頼区間の推定に適しています。この方法で仮説の検定を行うことはできますが、順列検定の仮定が当てはまる場合、置換検定よりも強力ではない傾向があります。
Rを使用している場合、それらはすべて簡単に実装できます。たとえば、http：//www.burns-stat.com/pages/Tutor/bootstrap_resampling.htmlを参照してください
3番目の主要なテクニックがあります：クロス検証。これは、モデルの予測力をテストするために使用されます。
私の質問は、どのリサンプリング技術がより人気のある
ブートストラップまたは置換テストを獲得したかということです。
ブートストラップは、主に大きなサンプル標準エラーまたは信頼区間の生成に関するものです。名前が示すように、置換テストはほとんどテストに関するものです。（ただし、それぞれを他のタスクに使用するように適合させることができます。）
人気をどのように判断しますか？心理学や教育などの分野を見ると、Wilcoxon-Mann-Whitney、署名されたランクテスト、ランク相関テストなどのランクベースのテストを多く使用できます。これらはすべて置換テストです（一方で、元のデータの置換テストを代わりに使用できる場合が多くありますが、通常はそうではありません）。他の一部のアプリケーション領域では、置換テストはほとんど使用されませんが、アプリケーション領域間での人気の違いは、有用性よりも、その領域のローカルカルチャーについてより多くを語る場合があります。
実装が簡単ですか？
多くの場合、特にシンプルなものはほとんど同じように簡単です-それは本質的に、交換を伴うサンプリングと交換を伴わないサンプリングの違いです。
より複雑なケースのいくつかでは、（テストの観点から見て）ブートストラップはnullではなく代替の下で動作するため、ブートストラップが簡単です（少なくとも単純な実装は-それがうまく機能するように行うことです）もっと複雑かもしれません）。
適切な交換可能な量が観察できない場合があるため、より複雑なケースでは正確な順列テストが困難になる可能性があります-ほぼ交換可能な量は、正確さの代価（および真に流通なし）で代用されることがあります。
ブートストラップは、基本的に対応する正確性基準（間隔の正確なカバレッジ）を最初からあきらめ、代わりに大きなサンプルで合理的に良好なカバレッジを取得しようとすることに焦点を当てます（理解できないほど成功する場合があります;チェックしていない場合は、ドンブートストラップが期待するカバレッジを提供すると仮定しないでください）。
順列検定は小さなサンプルで機能しますが（有意レベルの選択の制限は非常に小さなサンプルでは問題になる場合があります）、ブートストラップは大きなサンプルの手法です（小さなサンプルで使用する場合、多くの場合、結果は非常に有用である）。
私はそれらを同じ問題の競合他社とはめったに見ず、（異なる）実際の問題でそれらを使用しました。
両方に利点がありますが、パナケアにはありません。そのうちの1つだけに焦点を合わせて学習の労力を減らしたい場合は、失望する可能性があります。両方ともリサンプリングツールボックスの重要な部分です。