線形回帰のカテゴリカル特徴をコーディングする場合、ルールがあります。ダミーの数は、レベルの総数よりも1少なくする必要があります（共線性を回避するため）。
ディシジョンツリーにも同様のルールがありますか（バグ、ブースト）？Pythonの標準的な方法はnレベルをnダミー（sklearns OneHotEncoderまたはPandas pd.get_dummies）に拡張するように思われるため、これを私は質問します。
ディシジョンツリーのカテゴリ機能をコーディングするためのベストプラクティスとして何を提案しますか？
回答:
線形回帰とは異なり、完全な共線性について心配する必要がないためn、とは対照的にn-1、レベルを設定できることを理解しているようです。
（これはRの観点から来ていますが、Pythonでも同じだと思います。）それは、1）使用しているパッケージ、2）持っている因子レベルの数など、いくつかの要因によって異なります。
1）RのrandomForestパッケージを使用している場合、33未満の因子レベルがあれば、必要に応じてそれらを1つの機能に残すことができます。これは、Rのランダムフォレスト実装では、分割の片側にある因子レベルと反対側にある因子レベルを確認するためです（たとえば、レベルの5つが左側にグループ化され、7つがグループ化される可能性があります）一緒に右側）。カテゴリ機能をnダミーに分割すると、アルゴリズムはこのオプションを自由に使用できなくなります。
明らかに、使用している特定のパッケージがカテゴリカル機能を処理できない場合は、nダミー変数を作成するだけで済みます。
2）上記で触れたように、Rのランダムフォレストの実装では32の因子レベルしか処理できません。それ以上の場合は、因子をより小さなサブセットに分割するか、各レベルにダミー変数を作成する必要があります。
sklearn。実際には、「ダミー化された」変数は「グループ化された」カテゴリ変数よりもパフォーマンスが悪いという証拠があります（実務経験、研究など）[R]
カテゴリー変数を処理するには、ターゲット/インパクトエンコーディングと呼ばれる別のアプローチがあります。
このスキームのアイデアは、値がカテゴリを共有するすべての行のターゲット変数の平均である単一のfloat列を使用して機能をエンコードすることです。これは、フィーチャ内に順序関係を課し（つまり、カテゴリの右側の値は左側の値よりも平均応答が高いため）、ツリーベースのモデルに特に役立ち、予測空間を分割しやすくなります。
これは主題の良い説明です：https :
//towardsdatascience.com/why-you-should-try-mean-encoding-17057262cd0
そして、これは最初にエンコーディングを提案した論文へのリンクです：http : //helios.mm.di.uoa.gr/~rouvas/ssi/sigkdd/sigkdd.vol3.1/barreca.pdf
カウントの少ないカテゴリで平均を推定しないようにするための詳細がいくつかあります。また、このエンコーディングによって導入されるバイアスの解決策を提案する別のモデル、CatBoostもありますが、私の経験では、これは高濃度のカテゴリ変数をエンコードするためのシンプルで非常に便利な方法です。 。
randomForest自動的にコード化されますが、nコリニアリティはRFの問題ではないので、ダミーを使用する必要がありますか？