ベイジアン階層型一般化線形モデルでの特徴選択

8

私は階層的なGLMを推定しようとしていますが、どの共変量を母集団レベルで含めるかを決定するための機能を選択しています。

観測値と可能な共変量を持つグループがあるとします。つまり、共変量、結果。これらの共変量の係数はです。 $G$ $N$ $K$ $\boldsymbol{x}_{(N\cdot G) \times K}$ $\boldsymbol{y}_{(N\cdot G) \times 1}$ $\beta_{K \times 1}$

仮定 $Y$ 〜 $Bernoulli(p(x,\beta))$

以下は、ロジットサンプリングモデルと正規分布グループ係数を使用した標準的な階層型ベイジアンGLMです。

L (y | x, β_{1}, . . . β_{G}) \propto \prod_{g = 1}^{G} \prod_{t = 1}^{N} {(Pr {j = 1 | p_{t}, β^{g}})}^{y_{g, t}} {(1 - Pr {j = 1 | p_{t}, β^{g}})}^{1 - y_{g, t}}

${\cal L}\left(\boldsymbol{y}|\boldsymbol{x},\beta_{1},...\beta_{G}\right)\propto\prod_{g=1}^{G}\prod_{t=1}^{N}\left(\Pr\{j=1|p_{t},\beta^{g}\}\right)^{y_{g,t}}\left(1-\Pr\{j=1|p_{t},\beta^{g}\}\right)^{1-y_{g,t}}$

β_{1}, . . . β_{G} | μ, Σ \sim^{i i d} N_{d} (μ, Σ)

$\beta_{1},...\beta_{G}|\mu,\Sigma\sim^{iid}{\cal N}_{d}\left(\mu,\Sigma\right)$

μ | Σ \sim N (μ_{0}, a^{- 1} Σ)

$\mu|\Sigma\sim{\cal N}\left(\mu_{0},a^{-1}\Sigma\right)$

Σ \sim I W (v_{0}, V_{0}^{- 1})

$\Sigma\sim{\cal IW}\left(v_{0},V_{0}^{-1}\right)$

次元数に（LASSOのように）鋭い特徴選択があるように、このモデルを変更（またはそれを実行するか、それを説明する作業を見つける）したいと思い $\beta$ ます。

（1）最も単純な最も直接的な方法は、母集団レベルでこれを正則化して、の次元数を本質的に制限し、すべてのが同じ次元になるようにすることです。 $\mu$ $\beta$

（2）より微妙なモデルでは、グループレベルで収縮が発生し、次元は階層単位に依存します。 $\beta$

1と2を解くことに興味がありますが、もっと重要なのは1です。

— オオカミ
ソース

1

私が取り組む方法（1）には、次のようなスパイクとスラブのモデルが含まれます。

$\beta_{g,k} = z_{k}m_{g,k}$

$z_k \sim Bern(p)$

$m_{g,k} \sim N(\mu, \Sigma)$

$\mu, \Sigma \sim NIW_{v_0}(\mu_0, V_0^{-1})$

この：

前のNIWからのの柔軟性を保持します。 $\beta$ $\mu, \Sigma$
すべてのグループの変数の選択を一度にモデル化します。
groupのサブインデックスを追加し、各場所前に共通のベータを持つことで、簡単に拡張できます。 $z_{g,k}$ $k$

もちろん、これは有効なアプローチがいくつかあるような問題だと思います。

— 予想
ソース

2

機能の選択は、分析での大きな目標ではありません。すべての予測子が互いに相関せず、サンプルサイズが膨大でない限り、データは確実に答えを出すことができません。モデルの選択は、モデルの選択よりも重要です。詳細はRMSコースノートにあります。ただし、特徴を選択せずに縮小すること（たとえば、尾根またはペナルティ付き最尤推定）は良い考えです。階層的ベイジアンモデルは縮小モデルで統計的推論を可能にするので、より優れています。一方、頻度主義の世界では、縮小後に推論ツールのほとんどが失われます。 $L_{2}$

— フランク・ハレル
ソース