glmnet：多項式パラメーター化を理解する方法は？

次の問題：glmnet（）を使用して、1つ（または複数）のカテゴリ変数でカテゴリ応答変数を予測したい。

ただし、glmnetが提供する出力を理解することはできません。

では、まず2つの関連するカテゴリ変数を生成しましょう。

データを生成する

p <- 2 #number variables
mu <- rep(0,p)
sigma <- matrix(rep(0,p^2), ncol=p)
sigma[1,2] <- .8 #some relationship ..
diag(sigma) <- 1
sigma <- pmax(sigma, t(sigma))
n <- 100
set.seed(1)
library(MASS)
dat <- mvrnorm(n, mu, sigma)
#discretize
k <- 3 # number of categories
d <- apply(dat, 2, function(x) {
  q <- quantile(x, probs=seq(0,1, 1/k))[-c(1, k+1)]
  out <- numeric(length(x))
  for(i in 1:(k-1))
  {  out[x<q[k-i]] <- i } 
  return(out)
})
d <- data.frame(apply(d, 2, as.factor))
d[,2] <- relevel(d[,2], ref="0")
d[,1] <- relevel(d[,1], ref="0")
colnames(d) <- c("X1", "X2")

我々が得る：

> table(d)
   X2
X1   0  1  2
  0 22 11  1
  1  9 14 10
  2  3  8 22

予測：multinom（）

次に、nnetパッケージのmultinom（）を使用してX1をX2で予測します。

library(nnet)
mod1 <- multinom(X1~X2, data=d)
mod1

これは私たちに与えます：

Call:
multinom(formula = X1 ~ X2, data = d)

Coefficients:
  (Intercept)      X21      X22
1  -0.8938246 1.134993 3.196476
2  -1.9924124 1.673949 5.083518

手動チェック

それを手動で再現できるかどうかを確認しましょう。

tb <- table(d)
log(tb[2,1] / tb[1,1]) #intercept category1
[1] -0.8938179
log(tb[3,1] / tb[1,1]) #intercept category2
[1] -1.99243
log((tb[1,1]*tb[2,2]) / (tb[1,2]*tb[2,1])) #logodds-ratio cat X1 0vs1 in X2 0vs1
[1] 1.13498
#same for the three remaining log odds ratios

私たちは同じ数を生産します、いいです！

予測：glmnet（）

次に、glmnetで同じことをしましょう。

library(glmnet)
y <- d[,1]
X <- model.matrix(X1~X2, data=d)[,-1]
mod2 <- glmnet(X, y, family="multinomial", lambda=c(0))
coef(mod2, s=0) #meaning of coefficients unclear!
$`0`
3 x 1 sparse Matrix of class "dgCMatrix"
                     1
(Intercept)  0.9620216
X21         -1.1349130
X22         -3.1958293   

$`1`
3 x 1 sparse Matrix of class "dgCMatrix"
                     1
(Intercept) 0.06825755
X21         .         
X22         .         

$`2`
3 x 1 sparse Matrix of class "dgCMatrix"
                     1
(Intercept) -1.0302792
X21          0.5388814
X22          1.8870363

ここではs = 0を設定しているため、正則化は行われておらず、パラメーターにはmultinom（）関数のパラメーターとまったく同じ情報が含まれている必要があります。

それでも、非常に異なるパラメーターを取得します。これは、glmnetで使用するパラメーター化が異なるためです。例：

http://web.stanford.edu/~hastie/glmnet/glmnet_alpha.html（見出し：多項モデル）または対応する論文：http : //www.jstatsoft.org/v33/i01/paper（見出し：4.正規化多項式回帰）

しかし、どれほど正確にパラメーター化しても、条件とするカテゴリーkの確率である同じを取得する必要があります。$P(Y=k | X)$

条件付き確率：multinom（）

だから私は最初にmultinom（）からこれらの確率を計算します：

p.fit <- predict(mod1, type="probs")
head(d)
head(p.fit)
ccp <- matrix(0,3,3)
ccp[,3] <- p.fit[1,]
ccp[,2] <- p.fit[2,]
ccp[,1] <- p.fit[4,]
ccp
           [,1]      [,2]       [,3]
[1,] 0.64705896 0.3333332 0.03030114
[2,] 0.26470416 0.4242450 0.30303140
[3,] 0.08823688 0.2424218 0.66666746
colSums(ccp) #sum to 1, ok; sorry for the awful code ...
[1] 1 1 1

ここでは飽和モデルがあるので、これはデータから計算できるものと同じでなければなりません。

emp <- table(d)/100
cemp <- apply(emp, 2, function(x) {
  x / sum(x)
})
cemp 
   X2
             0         1          2
  0 0.64705882 0.3333333 0.03030303
  1 0.26470588 0.4242424 0.30303030
  2 0.08823529 0.2424242 0.66666667

確かにそうです。

条件付き確率：glmnet（）

今glmnetから同じ：

c1 <- coef(mod2, s=0)
c <-matrix(rapply(c1, function(x) { as.matrix(x)}, how="unlist"), 3,3, byrow=T)

ccp2 <- matrix(0,3,3)
config <- rbind(c(0,0), c(1,0), c(0,1))

for(l in 1:3) #loop through categories
{
  denom <- numeric(3)
  for(i in 1:3) # loop through possible predictor combinations
  { 
    x1 <- config[i, 1]
    x2 <- config[i, 2]
    denom[i] <- exp(c[l,1] + x1 * c[l,2]  + x2 * c[l,3])
  }
  ccp2[l,1] <- denom[1] / sum(denom)
  ccp2[l,2] <- denom[2] / sum(denom)
  ccp2[l,3] <- denom[3] / sum(denom)
}
ccp2
          [,1]      [,2]       [,3]
[1,] 0.7340082 0.2359470 0.03004484
[2,] 0.3333333 0.3333333 0.33333333
[3,] 0.1073668 0.1840361 0.70859708
colSums(ccp2)
[1] 1.1747083 0.7533165 1.0719753

セルの条件付き確率は多少関連していますが異なります。また、それらは合計して1つにはなりません。

したがって、ここには2つの問題があります。

a）条件付き確率の合計が1にならず、

b）パラメータはデータに表示される内容を説明していません。たとえば、行2には列間で差異がありますが、glmnetは両方の係数（切片ではない）をゼロと推定します。

私は線形回帰問題を使用し、slm = 0がゼロ正則化を意味することを確認するために、glmとglmnetをs = 0と比較しました（解はほとんど同じでした）。

どんな助けとアイデアでも大歓迎です！

multinomとglmnetからのパラメーターについて、この答えは有益だと思いました。glm アルゴリズムを使用して多項ロジスティック回帰を実行できますか？

特に、「はい、ポアソンGLM（対数線形モデル）を使用すると、多項モデルを近似できます。したがって、多項ロジスティックモデルまたは対数線形ポアソンモデルは同等です。」

そのため、glmnet係数のmultinom係数への再パラメーター化を示します。

n.subj=1000
x1 <- rnorm(n.subj)
x2 <- rnorm(n.subj)
prob <- matrix(c(rep(1,n.subj), exp(3+2*x1+x2), exp(-1+x1-3*x2)), , ncol=3)
prob <- sweep(prob, 1, apply(prob, 1, sum), "/")

y = c()
for (i in 1:n.subj)
  y[i] <- sample(3, 1, replace = T, prob = prob[i,])

multinom(y~x1+x2)

x <- cbind(x1,x2); y2 <- factor(y)
fit <- glmnet(x, y2, family="multinomial", lambda=0, type.multinomial =     "grouped")
cf <- coef(fit)

cf[[2]]@x - cf[[1]]@x   # for the category 2
cf[[3]]@x - cf[[1]]@x   # for the category 3

お役に立てれば。しかし、一般化線形モデル（ポアソン）と多項ロジスティックモデルの等価性を理解していないと思います。

読みやすく、「簡単に」理解できる優れた情報源があるかどうか教えてください。

選択確率の合計が1であることを確認するには、参照代替のすべてのパラメーターをゼロにする必要があります。したがって、glmnet（）の結果は奇妙だと思います。

関連Q：glmnetがすべてのカテゴリのパラメータを計算できるのはなぜですか？