母集団間の違いを調査する

2つの母集団からのサンプルがあるAとしBます：と。これらの母集団は個人で構成されていると仮定し、個人を特徴の観点から説明することにします。これらの機能の一部はカテゴリ型であり（たとえば、機能するように駆動しますか？）、一部は機能的です（高さなど）。これらの機能をと呼びましょう。何百ものこれらの機能（例、n = 200）を収集します。簡単にするために、すべての個人にわたってエラーやノイズがないと仮定しましょう。$X_1 \ldots X_n$

2つの母集団は異なると仮定します。私たちの目標は、次の2つの質問に答えることです。

1. それらは実際に大きく異なりますか？
2. それらの間の大幅な違いは何ですか？

デシジョンツリー（ランダムフォレストなど）や線形回帰分析などの方法が役立ちます。たとえば、ランダムフォレストの特徴の重要性や線形回帰の近似係数を調べて、これらのグループを区別するものを理解し、特徴と母集団の関係を調査できます。

このルートに進む前に、ここで自分の選択肢を理解したいと思います。これは、良い方法と最新の方法と悪い方法の違いです。私の目標はそれ自体が予測ではなく、グループ間の有意差をテストして見つけることです。

この問題に対処するためのいくつかの原則的なアプローチは何ですか？

ここに私が持っているいくつかの懸念があります：

• 線形回帰分析のような方法は、（2）に完全に答えない場合がありますよね？たとえば、1回の近似はいくつかの違いを見つけるのに役立ちますが、すべての重要な違いを見つけることはできません。たとえば、多重共線性により、すべての特徴がグループ間でどのように変化するかを見つけることができなくなる可能性があります（少なくとも1回の近似で）。同じ理由で、ANOVAは（2）についても完全な回答を提供できないと思います。

• 予測アプローチがどのように答えるかは完全には明らかではありません（1）。たとえば、どの分類/予測損失関数を最小化する必要がありますか？そして、フィットした後、グループが大幅に異なるかどうかをどのようにテストしますか？最後に、（1）で得られる答えが、使用する特定の分類モデルセットに依存する可能性があることを心配しています。

問題を次のように考えてみましょう。

$X=(X_1,X_2,..X_n)$$Y$$Y=0$$Y=1$

• $H_0$
• $H_0$$X$$Y=0$$X$$Y=1$
• $H_0$$X$$Y$
• $H_0$$f$$\{0,1\}$$f(X)$$Y$

$Y$$X$

これに基づいて何かを試すことが可能です。元のデータセットをトレーニングセットとテストセットに分割します。次に：

• $f$$Y$$X$
• $\alpha$$f(X)$$Y$

$f(X)$$H_0$$\alpha$$H_0$

$\alpha$

データで使用できる機能の数は言いません。少数、多数、大規模ですか？それらが母集団間で同じ特徴であり、すべて同じツール、方法、モダリティを使用して測定されていると想定できますか？そうでない場合は、変数内エラー測定モデルが機能するという大きな問題があります。

@benoitsanchezが質問＃1）に回答したようです。

Wrt＃2）、RFが役立つかどうかはわかりません。一度に1つの機能に適用される一元配置分散分析などのより正式なモデルを使用することにより、機能の母集団間の差の検定を開発できます。テストの大きさとその重要性に基づいて、これらのテストの結果を要約することにより、母集団がフィーチャ間でどのように異なるかを説明するプロファイルが可能になります。これは確かにアドホックでヒューリスティックなソリューションであり、好み、好み、トレーニングに十分厳密ではない場合があります。

ラテックスタイプの表記法が得意ではありません。これらのテストがどのように機能するかを簡単に説明します。最初に、すべての機能を一度に1つずつ渡す、ある種のマクロループを作成します。ループの各パスで、新しい機能はターゲットまたはDVになり、Xはポピュレーションのダミー変数と適切な制御変数で構成されます。各コントロールで同じコントロールが使用されていること、および基になるデータがすべての分散分析でまったく同じであることを確認して、有限データサンプルの変動に起因する変動を排除します。各機能のダミー変数のF検定値を集計します。これにより、機能間の比較を可能にする標準化されたメトリックが提供されます。F検定は、フィットに好ましいベータのでベータ標準化されておらず、個々の機能のユニットおよび標準開発者で表現されています。

最後のコメント「私が（1）で得られる答えが、使用する分類/回帰モデルの特定のセットに依存しているのではないかと心配しています」は常に真実です。回答は、使用するモデルの関数として変わる可能性が非常に高いです。これはまた、適用される統計モデリングの非決定論的な性質に慣れていない、または認識に問題がある、より強く理論的かつ古典的に訓練された統計学者の間で一般的に観察される倦怠感の表現でもあります。これらの症状に対する優れた解毒剤は、エフロンとハスティの最近の本であるComputer Age Statistical Inferenceです。データサイエンスと機械学習の時代である21世紀に、すべての反復、近似、ヒューリスティックな性質を率直に認めることにより、統計モデリングをもたらしますエラー項を持つモデル。この観察に固有の真実を認識するために、ベイジアンである必要はありません。彼らの見解は、たとえば、クロス積行列が反転しない、および/またはいくつかの知識モデルの仮定が満たされない場合に手を上げた、古典的な20世紀の統計的実践の厳格な決定論とは異なる新鮮な視点です。