カテゴリカルデータのペナルティ付き方法：因子のレベルを組み合わせる

ペナルティモデルは、パラメーターの数がサンプルサイズ以上のモデルを推定するために使用できます。この状況は、カテゴリデータまたはカウントデータの大きなスパーステーブルの対数線形モデルで発生する可能性があります。これらの設定では、他の因子との相互作用の観点からそれらのレベルが区別できない因子のレベルを組み合わせることにより、テーブルを折りたたむことが望ましいまたは役立つこともよくあります。2つの質問：

LASSOやエラスティックネットなどのペナルティモデルを使用して、各要素内のレベルの折りたたみ性をテストする方法はありますか？
最初の質問に対する答えが「はい」の場合、レベルの崩壊とモデル係数の推定が1つのステップで発生するように設定できますか？

— andrewH
ソース

このペーパーdoi.org/10.1177/1471082X16642560は、過去10年間にこの分野で行われたことの概要を説明しています。

— ジョーンビクラー

注：以下で説明するペナルティは、@ JorneBicclerのリンクの方程式3.4です。（この質問が以前に検討されたことを確認するのは興味深いことです！）

— user795305

多くの値を持つ前処理のカテゴリ変数の

— kjetil b halvorsen

これに先行する質問の複製をどのように呼び出すことができますか？

— Michael R. Chernick

可能です。これを達成するために、融合された投げ縄のバリアントを使用できます。

私たちは、推定使用することができ

\hat{β} = \arg \underset{β}{分} \frac{- 1}{ん} Σ_{私 = 1}^{ん} （ y_{私} β^{T} {バツ}_{私} - e^{β^{T} {バツ}_{私}} ） + \underset{ファクターg}{Σ} λ_{g} （ \underset{j \in g}{Σ} | β_{j} | + \frac{1}{2} \underset{j 、 k \in g}{Σ} | β_{j} - β_{k} | ） 。

$\hat{\beta} = \arg\min_{\beta} \frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right) + \sum_{\textrm{factors g}} \lambda_g \left(\sum_{j \in g} |\beta_j| + \frac{1}{2} \sum_{j,k \in g} |\beta_j - \beta_k| \right).$

なお、対数線形モデルのある損失関数を。 $\frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right)$

これにより、グループ内の係数が等しくなります。係数のこの等式は崩壊に相当するとと共に因子のレベル。ときの場合の、それが崩壊と同等だ基準レベルとレベル。チューニングパラメータ定数として扱うことができるが、これだけでいくつかの要因がありますならば、別個のものとしてそれらを治療するためのより良いかもしれません。 $j^{th}$ $k^{th}$ $\hat{\beta}_j=0$ $j^{th}$ $\lambda_g$

推定器は凸関数の最小化子であるため、任意のソルバーを介して効率的に計算できます。因子に多くの、多くのレベルがある場合、これらのペアごとの違いが手に負えなくなる可能性があります-この場合、崩壊の可能なパターンについてより多くの構造を知る必要があります。

これはすべて1つのステップで完了します。これは、なげなわ型の推定量がとてもクールになる理由の一部です！

$\|[-1 \, 1] \cdot [\beta_i \, \beta_j]'\|_1$ $\|[\beta_i \, \beta_j]\|_\infty$

— user795305
ソース