回答:
非ランダムなサンプルのランダム化は、効果がランダムな変動によって合理的に説明されていないことを示す可能性があります。
たとえば、サイズがほぼ等しい2つの認識されないサブグループ（特性が多少異なる*）の母集団があるが、サンプルがランダムではなく、80/20に分割されているとします。同じサイズの2つの治療グループを想像してみましょう。無作為化（少なくともまともなサンプルサイズで）は、各グループでほぼ80/20に分割される傾向があるため、不均一なグループの治療への不均等な割り当てではなく、治療による治療効果がもたらされます。
*異なるベースライン手段につながる、と言う
問題は、サンプルが表すもの（セルフセレクター）以外のターゲット母集団に推論を拡張する場合に発生します。これには、証拠がない可能性のある仮定/引数が必要です（たとえば、母集団のすべてのサブセットで処理の違いが一貫していると仮定するなど）。
同様の状況で、標準的な治療やプラセボと比較して、男性だけで高血圧薬をテストすることを想像してみてください。男性が治療群に適切に無作為化されていると仮定します。治療効果は、男性の効果を実際に説明するという意味で現実的です。その推論を女性に拡張しようとするときに困難が来るでしょう。
したがって、彼らが採用とは別に適切に実施され、ランダム化されている場合、観察された有意な効果は見かけ上のものになりますが、実際にサンプリングしたものに適用されますが、必ずしも目的のターゲットではなかったため、2つの間のギャップを越える可能性があります注意深い議論が必要です。そのような議論はしばしば欠けています。
私が学生だったとき、心理学の実験が心理学の学生に対して行われることは非常に一般的でした。心理学の学生は、そのような実験を一定時間ボランティアすることが期待されていました実験を行う人）治療への無作為化により、推論は有効であったかもしれません（何が行われたかによって異なります）が、非常に遠く離れた（自分がサインアップする実験を一般に選択する）自己選択心理学の学部生の地元の人口に適用されるより広い集団のランダムなサンプル。
ランダム化によって自己選択の問題が解決されることがわかっているので、非ランダムサンプルのランダム化によって実際に何かが変化したのかどうか疑問に思いました。
つまり、いいえ。このように考えてください。100個の黒いボールと100個の白いボールのつぼがあるとします。それから90個の黒いボールと10個の白いボールをサンプリングします。サンプリングランダムにこのサブサンプルからすると、あなたの壷自体の公平な推論を許可しません。
また、自分で厳選したサンプルに基づいてこれらすべての心理実験を行うにはどうすればよいでしょうか。
人々は、ランダムでないサンプリングが問題であることを認めています。しかし、問題の程度は、関心のあるメカニズムの「理論」の問題でもあります。仮説が、すべての人間にとって基本的に同じであるはずのメカニズムを扱っている場合（つまり、氷に浸されたときに凍るような感覚を経験する場合）水）、その場合、ランダムでない選択はそれほど重要ではありません。残念ながら、それは私たちが興味を持っていることではありません。
ブートストラップとして知られている問題に対処するために設計されたテクニックがあります。ブートストラップは、実際のサンプルプールから置き換えて新しい合成サンプルを生成するアプローチです。 次に、それらの各合成サンプルプールの統計を実行し、セット間の統計を比較します。
これらの合成サンプルは既知の分布に由来するため、これには統計で非常に多くの追加ツールを使用できるという大きな利点があります。次に、推定者がこれらの総合的なケースの処理にどの程度優れているかを判断できます。すべての合成サンプルの推定量が同じ結果にうまく収束していることがわかった場合、ブートストラップの仮定により、推定量が完全なサンプルに適用されたときに、未知の母集団の適切な推定値を提供していると推測できます。一方、推定量が合成サンプルセットと合成サンプルセットで非常に異なる結果になる場合は、推定量を完全なサンプルに適用すると、未知の母集団に対して非常に適切な推定値が得られない可能性があると推測する必要があります。
このブートストラップアプローチは、非ランダムサンプルのランダム化が十分かどうかを検証するために使用できます。もちろん、それを証明することはできませんが、ランダムサンプリングが十分にランダムであるという仮定を再確認して信頼性を高めるためのツールとして使用されています。