なげなわの代わりにグループなげなわを使用する理由

私は、グループのなげなわが変数のグループの変数選択とスパース性に使用されることを読みました。この主張の背後にある直感を知りたい。

• グループ投げ縄が投げ縄よりも優先されるのはなぜですか？
• なぜグループラッソソリューションパスが区分的に線形ではないのですか？

直観的に言えば、グループ投げ縄は、（特定の種類の）追加情報を真の係数推定値に組み込む手段を提供するため、投げ縄よりも優先される可能性があります。極端なシナリオとして、次のことを考慮してください。$\beta^*$

、置くS = { J ：β * J ≠ 0 }の支持体としてβ *。"オラクル"を考える推定β = argを分β ‖ Y - X β ‖ 2 2 + λ （| S | 1 / 2 ‖ β S $y \sim \mathcal{N} (X \beta^*, \sigma^2 I )$$S = \{j : \beta^*_j \neq 0 \}$$\beta^*$- 1真支持一補数2個の基で投げ縄基です。ましょう λ M A xは、の最小値であるλなり β =0。グループ投げ縄ペナルティの性質により、私たちはその時に知ってλから移動 λ M A Xに λ M A X -

$$\hat{\beta} = \arg\min_{\beta} \|y - X \beta\|_2^2 + \lambda \left( |S|^{1/2} \|\beta_S\|_2 + (p-|S|)^{1/2} \|\beta_{S^C}\|_2 \right),$$ $\lambda_{max}$$\lambda$$\hat{\beta} = 0$$\lambda$$\lambda_{max}$$\lambda_{max} - \epsilon$（いくつかの小さなための）、正確に一つのグループは、サポートに入るβ広くための推定値として考えられている、S。高い確率でグループ化を行うため、選択されたグループはSになり、完璧な仕事をしました。$\epsilon > 0$$\hat{\beta}$$S$$S$

実際には、グループをこれほどうまく選択しません。ただし、上記の極端なシナリオよりも優れているにも関わらず、グループは引き続き役立ちます。真の共変量のグループと真の共変量のグループの間で選択が行われます。まだ力を借りています。

これはここで形式化されます。彼らは、いくつかの条件下で、グループ投げ縄の予測誤差の上限がプレーンな投げ縄の予測誤差の下限より低いことを示しています。つまり、彼らはグループ化が私たちの推定をより良くすることを証明した。

$L(\beta) = \|y - X \beta\|_2^2$$J(\beta) = \sum_{g \in G} |g|^{1/2} \|\beta_g\|_2$

$$\left( \nabla^2L(\hat{\beta}) + \lambda \nabla^2 J(\hat{\beta}) \right)^{-1} \nabla J(\hat{\beta})$$ $J$

ベンの答えは最も一般的な結果です。しかし、OPに対する直感的な答えは、通常、カテゴリごとに1つの複数のダミー変数としてエンコードされるカテゴリカル予測子の場合に基づいています。多くの分析では、これらのダミー変数（1つのカテゴリー予測子を表す）を個別にではなく一緒に考慮することが理にかなっています。

たとえば、5つのレベルのカテゴリ変数がある場合、まっすぐな投げ縄では2つと3つが残されることがあります。これを原則的にどのように処理しますか？投票することを決めますか？文字通り、より意味のあるカテゴリーの代わりにダミー変数を使用しますか？ダミーエンコーディングは選択にどのように影響しますか？

彼らがロジスティック回帰のためのグループ投げ縄の紹介で言うように、それは言及しています：

連続回帰だけでなくカテゴリカル予測因子（因子）も存在する場合の線形回帰の特殊なケースでは、因子全体ではなく個別のダミー変数のみを選択するため、投げ縄解法は満足のいくものではありません。さらに、投げ縄ソリューションは、ダミー変数のエンコード方法に依存します。カテゴリカル予測子に対して異なるコントラストを選択すると、一般に異なるソリューションが生成されます。

ベンが指摘しているように、予測子の間にはさらに微妙なリンクがあり、それらが一緒に出入りする必要があることを示している可能性があります。ただし、カテゴリ変数はグループ投げ縄の子です。