ワンホットエンコーディングとダミーエンコーディングの問題

私は、kレベルのカテゴリ変数がダミーのエンコードでk-1変数でエンコードされる必要があるという事実を認識しています（同様に、多値のカテゴリ変数の場合）。さまざまな回帰メソッド、主に線形回帰、ペナルティ付き線形回帰（Lasso、Ridge、ElasticNet）、ツリーベース（ランダムフォレスト）のダミーエンコーディングに対してワンホットエンコーディング（つまり、代わりにk変数を使用）がどのくらい問題になるのかと思っていました。 、勾配ブースティングマシン）。

線形回帰では、多重共線性の問題が発生することを知っています（実際には、OHEを使用して線形回帰を問題なくフィッティングしましたが）。

しかし、それらすべてでダミーエンコーディングを使用する必要がありますか？ワンホットエンコーディングを使用した場合、結果はどのように間違っていますか？

私の焦点は、複数の（カーディナリティが高い）カテゴリー変数を使用した回帰モデルでの予測にあります。そのため、信頼区間には興味がありません。

$k$$k$$μ = a_0 + a_1X_1 + a_2X_2$$X_2 = 1 - X_1$$(β_0, β_1, β_2)$$(β_0 + β_2,\; β_1 - β_2,\; 0)$

ペナルティはモデルを識別可能にしますが、冗長なコーディングは上記のように奇妙な方法でパラメーター値に影響を与えます。

デシジョンツリー（またはツリーのアンサンブル）での冗長コーディングの影響は、問題の機能を他の機能と比較して過大評価する可能性があります。これは、余分な冗長変数で表されるため、他の場合よりも頻繁に選択されるためです。分割。

コディオロジストは素晴らしい答えを出しました（+1）。ワンホットエンコーディングとダミーエンコーディングのエンコーディング方法は同じです。デザインマトリックスは同じ空間にあり、根拠は異なります。（ワンホットエンコーディングにはさらに列があります）

したがって、解釈可能性ではなく正確さに焦点を当てている場合。2つのエンコード方式は違いを生じません。

この質問に対する最良の答えは@MatthewDruryのコメントに埋もれていると思います。これは、違いがあり、正規化されたアプローチでは一見冗長な列を使用する必要があることを示しています。@MatthewDruryの推論は

[正則回帰]では、切片はペナルティを課されないため、切片の一部ではないレベルの影響を推測している場合、すべてのレベルに等しくペナルティを課しているとは言いがたいです。代わりに、常にすべてのレベルを含めるため、各レベルはペナルティに関して対称です。

彼はポイントを持っていると思います。