ランダムフォレストなどのツリーベースのアンサンブルメソッド、およびその後の派生物（条件付きフォレストなど）はすべて、相対的な変数の重要度を特定するために、いわゆる「小さなn、大きなp」の問題で役立つとされています。実際、これは事実であるように見えますが、私の質問は、この能力をどこまでとることができるかということです。たとえば、30の観測値と100の変数を持つことができますか？そのようなアプローチの限界は何ですか？存在する適切な経験則はありますか？シミュレートされたデータセットまたは実際のデータセットのいずれかを使用して、実際の証拠（推測ではない）へのリンクに裏付けられた回答を希望し、受け入れます。後者についてはあまり知りませんでした（こことここ）、それであなたの考え/アドバイス/（トピックに関する）参照提案は大歓迎です！
回答:
遭遇する失敗モードは、ランダムな特徴が十分にある場合、より大きなデータセット内ではなく、各ツリーに使用されるバギングされたサンプル内のターゲットに関連する特徴が存在することです。複数のテストで見られたのと同様の問題。
これが発生する正確なポイントは、ノイズの量とデータ内の信号の強度に依存するため、これの経験則は開発が困難です。複数のテストで修正されたp値を分割基準として使用し、変数の重要度に基づいて特徴選択ステップを実行したり、実際の特徴をランダムに並べ替えることによって生成された人工コントラスト特徴に対する特徴の重要度の比較を行ったりして、これに対処する方法もあります。分割選択やその他の方法を検証するためのバッグケースのセット。これらは非常に効果的です。
私は、〜1000件のケースと30,000〜1,000,000の機能を持つデータセットに対してランダムフォレスト（上記の方法論的調整の一部を含む）を使用しました。（特徴選択またはエンジニアリングのレベルが異なる人間の遺伝学のデータセット）。それらは確かにそのようなデータの強力な信号（またはバッチ効果）を回復するのに効果的ですが、ランダムな変動が各信号を克服するため、不均一な原因を持つ病気のようなものをうまくまとめることはできません
また、データの信号とノイズにも依存します。従属変数がモデル内の変数の組み合わせによってかなりよく説明されている場合は、n / p比を低くすることで解決できると思います。
比率だけでなくまともなモデルを取得するには、nの絶対最小数も必要になると思います。
これを見る1つの方法は、各ツリーが約SQRT（p）変数を使用して構築され、その数が大きく、ポイント数が小さい場合、実際に実際のモデルがなくてもツリーをフィットできることです。したがって、そのような過剰適合ツリーの多くは、誤った変数の重要性を与えます。
通常、変数重要度チャートで、ほぼ同じレベルの重要度を持つ多くのトップ変数が表示される場合、それは私に単なるノイズを与えていると結論付けます。