ランダム化テストと置換テストの違い

文献では、ランダム化と順列という用語は同じ意味で使用されています。多くの著者が「順列（ランダム化）テスト」、またはその逆を述べています。

せいぜい、違いは微妙であり、データに関する想定と引き出すことができる潜在的な結論にあると信じています。私の理解が正しいかどうか、または私が見落としているより深い違いがあるかどうかを確認する必要があります。

順列検定では、基礎となる母集団分布（母集団モデル）からデータがランダムにサンプリングされることを想定しています。これは、置換テストから得られた結論が一般的に母集団からの他のデータに適用可能であることを意味します[3]。

ランダム化テスト（ランダム化モデル）は、「典型的な心理学的研究の信じがたい仮定を落とすことを許します---指定された分布からのランダムサンプリング」[2]。ただし、これは、得られた結論がテストで使用されたサンプルにのみ適用されることを意味します[3]。

確かに、違いは人口の定義に関してのみです。人口を「病気のすべての患者であり、治療に適している」と定義した場合、順列検定はその人口に対して有効です。しかし、人口を治療に適した人口に制限しているため、これは実際に無作為化テストです。

参考資料：
[1] Philip Good、順列検定：仮説を検定するための再サンプリング方法の実用的なガイド。
[2] Eugene EdgingtonおよびPatric Onghena、ランダム化テスト。
[3] Michael Ernst、順列法：正確な推論の基礎

かなりのオーバーラップがあり、順列テストの最も一般的な形式はランダム化テストの形式です。

一部の純粋主義者は、真の順列検定がデータのあらゆる可能な順列に基づいていると考えています。しかし、実際には、可能なすべての順列のセットからサンプリングするため、これはランダム化テストです。

ブートストラップテストもあります。考えられるすべてのブートストラップサンプルが見つからず、可能性のあるセット（通常行われていること）からサンプルを見つけた場合、これはランダム化テストでもあります（順列テストではありません）。