機械学習は因果関係の理解にはあまり役に立たないので、社会科学にはあまり興味がありませんか？

機械学習/その他の統計的予測手法と社会科学者（例：エコノミスト）が使用する統計の種類の違いについての私の理解は、エコノミストが単一または複数の変数の効果を理解することに非常に興味を持っているように見えることです。大きさと関係が因果関係であるかどうかの検出。このため、あなたは実験的および準実験的方法などで自分自身に関わることになります。

予測的である機械学習または統計モデリングは、この側面をしばしば完全に無視し、多くの場合、1つの変数が結果に影響する特定の程度を与えません（ロジットとプロビットは両方を行うようです）。

関連する質問は、新しいドメインを予測する際に、理論的に示唆された経済モデルまたは行動モデルが理論モデルよりもどの程度有利であるかということです。機械学習または予測指向の統計学者は、経済モデルがなければ、共変量が非常に異なる新しいサンプルを正しく予測することはできないという批判に対して何を言うでしょうか。

あらゆる観点からこれについての人々の意見を聞いて本当にうれしいです。

データにモデルを適合させる基本レベルで機械学習と統計を区別するIMHOには正式な違いはありません。モデルの選択、モデルをデータに適合させる目的、および解釈を拡張する目的には、文化的な違いがある場合があります。

典型的な例では、私たちは常に持っていると考えることができます

• モデルのコレクション for for some index set、 I ∈ I $M_i$$i \in I$$I$
• そして毎、未知のコンポーネントモデル（のパラメータ、寸法無限大であってもよい）。θ I M $i$$\theta_i$$M_i$

フィッティングデータにすることは、ほとんど常に、未知の成分の最適な選択見つけることからなる数学的最適化問題であるにするいくつかのお気に入りの機能により測定されたデータをフィット。θ I M $M_i$$\theta_i$$M_i$

モデルの選択は標準的ではなく、さまざまな手法が利用できます。モデルのあてはめの目的が純粋に予測的である場合、良好な予測パフォーマンスを得るためにモデルの選択が行われますが、主な目的が結果のモデルを解釈することである場合、他のモデルよりも簡単に解釈可能なモデルが選択される場合があります予測力は悪化すると予想されます。$M_i$

オールドスクールの統計モデル選択と呼ばれるものは、おそらく段階的選択戦略と組み合わせた統計テストに基づいていますが、機械学習モデルの選択は通常、一般に交差検証を使用して推定される予想される一般化エラーに焦点を当てています。ただし、モデル選択の現在の開発と理解は、より一般的な根拠に向かって収束しているようです。たとえば、モデル選択とモデル平均化を参照してください。

モデルから因果関係を推測する

問題の核心は、モデルをどのように解釈できるかです。得られたデータが慎重に設計された実験からのものであり、モデルが適切である場合、モデル内の変数の変化の影響を因果効果として解釈でき、実験を繰り返してこの特定の変数に介入する場合、もっともらしい推定効果を観察することが期待できます。ただし、データが観察的である場合、モデルの推定効果が観察可能な介入効果に対応するとは期待できません。これには、モデルが「機械学習モデル」であるか「古典的な統計モデル」であるかに関係なく、追加の仮定が必要になります。

単変量パラメーター推定と効果サイズの解釈に焦点を当てた古典的な統計モデルを使用して訓練された人々は、因果解釈が機械学習フレームワークよりもこのフレームワークでより有効であるという印象を持っている可能性があります。そうではないと思います。

統計における因果推論の領域は、実際に問題を除去するものではありませんが、因果結論が明示される前提を明確にします。それらはテスト不可能な仮定と呼ばれます。統計における論文の因果推論： Judea Pearlによる概要は、読むのに適した論文です。因果推論からの主要な貢献は、観察されていない交絡因子が実際に存在するという仮定の下での因果効果の推定のための方法の収集であり、そうでなければ主要な関心事です。上記のパール紙のセクション3.3を参照してください。より高度な例は、論文「Marginal Structural Models and Causal Inference in Epidemiology」に記載されています。

検証できない仮定が成り立つかどうかは、主題の問題です。データを使用してテストすることはできないため、これらは正確にはテストできません。仮定を正当化するには、他の引数が必要です。

機械学習と因果推論が出会う例として、Mark van der LaanとDaniel RubinによるTargeted Maximum Likelihood Learningに示されているターゲット最尤推定のアイデアは、通常、ノンパラメトリック推定のための機械学習手法を活用してから「ターゲティング関心のあるパラメータに向かって。後者は、原因となる解釈を伴うパラメーターになります。Super Learnerのアイデア興味のあるパラメータの推定のために機械学習技術に大きく依存することです。Mark van der Laan（パーソナルコミュニケーション）による重要なポイントは、古典的で単純な「解釈可能な」統計モデルがしばしば間違っており、偏った推定量と推定の不確実性の楽観的な評価につながることです。

いわゆる「因果推論」のための（かなり限られた）統計ツールのセットがあります。これらは、因果関係を実際に評価するために設計されており、これを正しく行うことが実証されています。優れていますが、心の柔和（またはその点では脳）には適していません。

それとは別に、多くの場合、因果関係を暗示する能力は、手元の手法よりも設計の結果です。実験の「すべての」変数を制御し、毎回何かが起こっているのを見る場合（のみ）1つの変数を変更する場合、発生したものを変更したものの「結果」と呼ぶのが妥当です（残念ながら、実際の研究では、これらの極端なケースは実際にはほとんど発生しません）。別の直観的だが健全な推論は時間ベースです：ランダムに（ただし制御された方法で）変数を変更し、別の変数を翌日に変更すると、因果関係もすぐ近くにあります。

2番目の段落はすべて、どの変数がどの条件で変化したかを見つけるために使用する方法に関係なく基本的に機能するため、少なくとも理論的には、機械学習（ML）が統計ベースの方法より悪い理由はありません。

免責事項：非常に主観的なパラグラフ

しかし、私の経験では、データがどこから来たのか、どのように収集されたのかを考慮せずに（つまり、設計を無視して）ML手法がデータの塊に対して放されることが多すぎます。そのような場合、結果が頻繁に消えてしまいますが、因果関係について有用なことを言うのは非常に困難です。これは同じデータに対して統計的に適切な方法が実行される場合、まったく同じになります。しかし、統計のバックグラウンドが強い人は、これらの問題に批判的になるように訓練されており、すべてがうまくいけば、これらの落とし穴を避けることができます。MLに悪い評判を与えているのは、おそらく、MLテクニックの初期（しかしずさんな）採用者（通常、新しいテクニックの開発者ではなく、興味のある分野で何らかの結果を「証明」したい人）のマインドセットです。アカウント。（統計がMLよりも優れていると言っているわけではないことに注意してください、またはMLを行うすべての人がずさんで、統計を行う人はそうではないことに注意してください）

私の見解では、経済学やその他の社会科学で使用されるモデルは、現実世界で予測力がある場合にのみ有用です。現実世界を予測しないモデルは、単なる賢い数学です。同僚に対する私のお気に入りの言い回しは、「データは王様です」ということです。

あなたの質問は予測的アプローチに対する2つの批判を引き起こしているように思えます。まず、機械学習手法によって生成されたモデルは解釈できない場合があることを指摘します。第二に、あなたは社会科学の人々によって使われている方法が、機械学習よりも因果関係を明らかにするのにより有用であることを提案します。

最初の点に対処するために、次の反論を提示します。機械学習の現在の流行は、素人にとって理解しにくい方法（SVMやNNなど）を好んでいます。これは、すべての機械学習手法にこの特性があるという意味ではありません。たとえば、由緒あるC4.5決定木は、開発の最終段階に達してから20年経っても広く使用されており、多くの分類ルールを出力として生成します。そのような規則は、対数オッズ比のような概念よりも解釈に適していると主張しますが、それは主観的な主張です。いずれにしても、そのようなモデルは解釈可能です。

2番目の点に取り組む際に、ある環境で機械学習モデルをトレーニングし、別の環境でテストすると失敗する可能性が高いと認めますが、これはアプリオリについても当てはまらないと推測する理由はありませんより一般的なモデル：1つの仮定の下でモデルを構築し、次に別の仮定の下でモデルを評価すると、悪い結果が得られます。コンピュータプログラミングのフレーズを採用するには、「ガベージイン、ガベージアウト」が機械学習と設計モデルの両方に等しく適用されます。

いいえ。因果推論は機械学習の研究の活発な分野です。たとえば、このワークショップとこのワークショップの進行を参照してください。ただし、因果推論またはモデル解釈が主な関心事である場合でも、不透明で純粋に予測的なアプローチを並行して試してみることをお勧めします。そうすることで、解釈可能なモデル。

他の回答で既に述べた非常に良い点については繰り返し述べませんが、多少異なる視点を追加したいと思います。私がここで言うことは、哲学的であり、必ずしも専門的な経験からではなく、物理科学、複雑なシステム理論、機械学習の背景が混在しています（そして、ほとんどが学部の統計学です）。

機械学習と古典的な統計的アプローチ（私が知っている）の大きな違いの1つは、行われる一連の仮定にあります。古典的な統計では、基礎となるプロセスと分布に関する多くの仮定は固定されており、当然のことと見なされる傾向があります。ただし、機械学習では、これらの仮定は各モデルに対して明示的に選択されるため、可能性の範囲が大幅に広がり、おそらく仮定がより大きく認識されるようになります。

私たちの周りの世界のシステムは複雑で非線形な方法で振る舞い、多くのプロセスは典型的な古典統計に存在する正規性などの仮定に従わないことがますます増えています。モデルの前提条件の柔軟性と多様性により、このような場合、機械学習アプローチはより堅牢なモデルにつながることが多いと主張します。

「効果の大きさ」、「因果関係」、「1つの変数が結果に影響を与える程度」などのフレーズに組み込まれた強力なモデルの仮定があります。複雑なシステム（経済など）では、これらの仮定は、可能なシステム状態の特定のウィンドウ内でのみ有効です。オブザーバブルとプロセスによっては、このウィンドウが大きくなり、比較的堅牢なモデルになる場合があります。他のものでは、それは小さいかもしれませんし、空でさえあるかもしれません。おそらく最大の危険性は中間的なものです。モデルは機能しているように見えるかもしれませんが、システムが移行すると、突然驚くべき方法で失敗します。

機械学習は万能薬ではありません。むしろ、私たちの観察から意味を収集する新しい方法の探求であり、私たちが周りの世界で認識し始めている複雑さに効果的に対処するために必要な新しいパラダイムを求めています。