いくつかのタイプのモデルがほとんど同じ結果をもたらすのはなぜですか？

約40万件のレコードと9つの変数のデータセットを分析しています。従属変数はバイナリです。私はロジスティック回帰、回帰木、ランダムフォレスト、および勾配ブースト木を取り付けました。別のデータセットで検証すると、それらすべてがほぼ同じ適合度の数値を与えます。

これはなぜですか？変数比に対する私の観察が非常に高いためだと思います。これが正しい場合、どのモデルの変数比に対して、異なるモデルが異なる結果を出し始めますか？

この結果は、どの方法を使用しても、最適な決定ルール（ベイズルール）にかなり近づくことができることを意味します。根本的な理由は、ハスティー、ティブシラニ、フリードマンの「統計学習の要素」で説明されています。彼らは、イチジクを比較することによって、異なる方法がどのように機能するかを示しました。2.1、2.2、2.3、5.11（私の初版-多次元スプラインのセクション）、12.2、12.3（サポートベクターマシン）、そしておそらく他のいくつか。その本を読んでいない場合は、今すぐすべてを落として、それを読む必要があります。（つまり、仕事を失う価値はありませんが、学生の場合は宿題を欠席する価値があります。）

変動比率に対する観察結果が説明であるとは思わない。上記で提供された私の理論的根拠に照らして、多次元空間でクラスを分離する境界の比較的単純な形式は、試したすべてのメソッドが識別できたものです。

トレーニングエラーも確認する価値があります。

基本的に私はあなたの分析に同意しません。ロジスティック回帰などがすべて同じ結果を与える場合、「最良のモデル」は非常に単純なモデルであることを示唆します（すべてのモデルが等しく適合できる-たとえば基本的に線形）。

それで、問題はなぜ最良のモデルが単純なモデルなのかということかもしれません：それはあなたの変数があまり予測できないことを示唆しているかもしれません。もちろん、データを知らずに分析することは困難です。

@ seanv507が示唆したように、同様のパフォーマンスは、データが線形モデルによって最も適切に分離されているためである可能性があります。しかし、一般的に、「変動比率に対する観測値が非常に高い」ためであるという記述は正しくありません。変数の数に対するサンプルサイズの比率が無限大になる場合でも、すべてのモデルが同じ予測バイアスを提供しない限り、異なるモデルがほぼ同じように機能することを期待すべきではありません。

変数比に対する私の観察が非常に高いためだと思います。

この説明は完全に理にかなっていると思います。

これが正しい場合、どのモデルの変数比に対して、異なるモデルが異なる結果を出し始めますか？

これはおそらく、特定のデータ（たとえば、9つの変数が連続、因子、通常、バイナリのいずれであっても）、およびモデルの近似中に行った調整の決定に大きく依存します。

ただし、変数の数を増やすのではなく、観測の数を減らすことによって、観測と変数の比率を試すことができます。ランダムに100個の観測を描画し、モデルを適合させて、異なるモデルが異なる結果をもたらすかどうかを確認します。（私はそうするだろうと思います。）観察の総数から得られた異なるサンプルでこれを複数回実行します。次に、1,000個の観測値のサブサンプル... 10,000個の観測値などを確認します。