理想的な実験を作成できないときに何をすべきかについての教科書/読書？

私の統計トレーニングは数学統計に根ざしており、これらのメソッドクラスをMSで受講することは、現時点では少しショックです。私は業界での経験が不足しているため、これらの「適用された」方法のいくつかを理解することは現在困難です。

私のメソッドクラスで私たちが話してきたトピックの1つは、実験計画のアイデアです。

たとえば、K-12の生徒のテストスコアを上げると主張する教育プログラムの有効性に関する実験を行いたいとします。

メソッドのクラスでは、こうした問題を追求するために次のことを教えました。適切な研究質問、適切なデータ収集方法、ランダム化実験、均質な治療グループ（つまり、このプログラムで治療したグループ、ない）理想的には同じサイズで、その後、（またはある種のノンパラメトリック仮説検定）を実行すると、すべてうまくいきますよね？$t$

私は、これが実際にどのように機能するかについてはほとんど信じていません。

確かに、便利なサンプリングを行う必要があるかもしれないことを学びました。しかし、それ以外には、教科書から学んだこと以外に、実験計画をどのように実装するかわからない。

これらの問題を実際に探求する教科書や読み物などはありますか（そして理想的には、数学に目を光らせないでください-すべての詳細な証拠は必要ありませんが、すべてが「明らか」、例えば）？

ランダム化された実験がほとんど常に不可能な2つの分野があります。それらは社会科学と経済学です。これらのインスタンスでは、「準実験」しか行えません。キーワード準実験、観察研究、社会科学をキーワードに検索してみてください。あなたはいくつかの良い教科書を手に入れるでしょう。私はこの主題に関する2つの優れた本を推薦できます：シャディッシュとクックによる2番目の本は古典です：

1. 反事実と因果推論：モーガンとウィンシップによる社会調査の方法と原則
2. ウィリアム・R・シャディッシュとトーマス・D・クックによる一般化された因果推論のための実験的および準実験的設計

DehejiaとWahbaによる因果推論のために、非実験設定で「傾向スコアマッチング」と呼ばれる手法を使用する古典的な論文も強くお勧めします。

追加の推奨事項：

1. Paul R. Rosenbaumによる観察研究のデザイン。
2. 統計、社会、および生物医学の因果推論：インベンスとルービンによる紹介。

時系列の準実験を検討している場合、上記の本にはいくつかの章がありますが、専用の本はGene v。Glass Design and Analysis of Time-Series Experimentsで、彼の記事「中断された時系列」を確認します。

雑学：Gene V Glassは「メタ分析」という用語を作り出しました。

これは、準実験的設計が有用な場合があります。実際の多くの状況では、実験的設計は実用的ではありません。なぜなら、治療を受けているにもかかわらず、グループへのランダムな割り当てを実行できないか、グループが1つしかないからです。

教育の例では、1つの学校のすべての子供に介入を行うため、誰が治療を受けるかを制御できない場合があります。ただし、前の年のスコアとスコアを比較したり、クラスを他のクラスより先に介入するように教室をランダム化したり、介入を受けなかったクラスを含む複数の学校を比較したりできます。

グループが1つしかない場合は、中断された時系列設計を行うのが理にかなっているかもしれませんが、絶えず測定を行い、研究期間の途中で治療を施します。このようにして、研究全体の全体的な勾配に対して、治療直後に経時的に従属変数の勾配が変化したかどうかを確認できます。測定の数は3にまで減らすことができますが、もっと多くすることができます。

ですから、私の提案は、準実験的研究デザインを読むことです。

因果関係の最も徹底的で一般的かつ正確な処理は、Judea Pearl 2009、「Causality」、第2版、Cambridge University Pressです。

特に、因果関係は実際には統計的な問題ではないことを明らかにしています-無制限のデータでもそれを解決しません。データについて何かが準最適である場合、因果推論に必要な定性的および理論的知識を表現するための正確な言語を導入します。失敗したランダム化は、多くの問題の1つに過ぎないことがわかります。また、他のすべての数学フレームワーク、たとえばImbens、Rubin、Rosenbaumによるものも含まれます。私は、彼のアプローチがいかにアクセスしやすく、エレガントで強力かを誇張することはできません。

強くお勧めします。ただし、非線形の方法で読む必要があります（第5章と第11章の方がアクセスしやすいので、一般的な理論を理解するために第1章、第3章、および第7章を逆にたどります）。

基本を理解したら、たとえば、あるコンテキストから別のコンテキストに因果関係の結果を「トランスポート」できる場合など、最近の進歩を簡単に調べることができます。これは、ランダム化（パール、ユダヤ、エリアスBareinboim 2014、「外部妥当性：計算から人口全体の輸送可能性まで。」統計科学）。

おそらくこれらはあなたが探しているものです...

実験者の統計

実験の設計と分析

Rを使用した実験の設計と分析（前のタイトルとは無関係）

データを使用したプロセス改善（無料のオンラインまたはPDFとして、第5章でDoEをカバー）