線形回帰モデルのOLS推定器は、閉じた形式で表現できる、つまり関数のオプティマイザーとして表現する必要がないという性質を持つことは非常にまれです。ただし、これは関数のオプティマイザー（残差平方和関数）であり、そのように計算できます。
ロジスティック回帰モデルのMLEは、適切に定義された対数尤度関数のオプティマイザーでもありますが、閉形式の式では使用できないため、オプティマイザーとして計算する必要があります。
ほとんどの統計的推定量は、基準関数と呼ばれるデータの適切に構築された関数のオプティマイザーとしてのみ表現できます。このようなオプティマイザーには、適切な数値最適化アルゴリズムの使用が必要です。関数のオプティマイザーはoptim()、汎用の最適化アルゴリズムを提供する関数、またはなどのより特殊なパッケージの1つを使用して、Rで計算できますoptimx。さまざまなタイプのモデルと統計的基準関数に使用する最適化アルゴリズムを知ることが重要です。
線形回帰残差平方和
OLS推定器は、よく知られている残差平方和関数のオプティマイザーとして定義されます：
β^=argminβ(Y−Xβ)′(Y−Xβ)=(X′X)−1X′Y
残差平方和のような2回微分可能な凸関数の場合、ほとんどの勾配ベースのオプティマイザーはうまく機能します。この場合、BFGSアルゴリズムを使用します。
#================================================
# reading in the data & pre-processing
#================================================
urlSheatherData = "http://www.stat.tamu.edu/~sheather/book/docs/datasets/MichelinNY.csv"
dfSheather = as.data.frame(read.csv(urlSheatherData, header = TRUE))
# create the design matrices
vY = as.matrix(dfSheather['InMichelin'])
mX = as.matrix(dfSheather[c('Service','Decor', 'Food', 'Price')])
# add an intercept to the predictor variables
mX = cbind(1, mX)
# the number of variables and observations
iK = ncol(mX)
iN = nrow(mX)
#================================================
# compute the linear regression parameters as
# an optimal value
#================================================
# the residual sum of squares criterion function
fnRSS = function(vBeta, vY, mX) {
return(sum((vY - mX %*% vBeta)^2))
}
# arbitrary starting values
vBeta0 = rep(0, ncol(mX))
# minimise the RSS function to get the parameter estimates
optimLinReg = optim(vBeta0, fnRSS,
mX = mX, vY = vY, method = 'BFGS',
hessian=TRUE)
#================================================
# compare to the LM function
#================================================
linregSheather = lm(InMichelin ~ Service + Decor + Food + Price,
data = dfSheather)
これにより以下が得られます。
> print(cbind(coef(linregSheather), optimLinReg$par))
[,1] [,2]
(Intercept) -1.492092490 -1.492093965
Service -0.011176619 -0.011176583
Decor 0.044193000 0.044193023
Food 0.057733737 0.057733770
Price 0.001797941 0.001797934
ロジスティック回帰の対数尤度
ロジスティック回帰モデルのMLEに対応する基準関数は、対数尤度関数です。
logLn(β)=∑i=1n(YilogΛ(X′iβ)+(1−Yi)log(1−Λ(X′iβ)))
whereはロジスティック関数です。パラメーター推定値は、この関数のオプティマイザーです
Λ(k)=1/(1+exp(−k))β^=argmaxβlogLn(β)
optim()BFGSアルゴリズムを再度使用する関数を使用して、基準関数を作成および最適化する方法を示します。
#================================================
# compute the logistic regression parameters as
# an optimal value
#================================================
# define the logistic transformation
logit = function(mX, vBeta) {
return(exp(mX %*% vBeta)/(1+ exp(mX %*% vBeta)) )
}
# stable parametrisation of the log-likelihood function
# Note: The negative of the log-likelihood is being returned, since we will be
# /minimising/ the function.
logLikelihoodLogitStable = function(vBeta, mX, vY) {
return(-sum(
vY*(mX %*% vBeta - log(1+exp(mX %*% vBeta)))
+ (1-vY)*(-log(1 + exp(mX %*% vBeta)))
)
)
}
# initial set of parameters
vBeta0 = c(10, -0.1, -0.3, 0.001, 0.01) # arbitrary starting parameters
# minimise the (negative) log-likelihood to get the logit fit
optimLogit = optim(vBeta0, logLikelihoodLogitStable,
mX = mX, vY = vY, method = 'BFGS',
hessian=TRUE)
#================================================
# test against the implementation in R
# NOTE glm uses IRWLS:
# http://en.wikipedia.org/wiki/Iteratively_reweighted_least_squares
# rather than the BFGS algorithm that we have reported
#================================================
logitSheather = glm(InMichelin ~ Service + Decor + Food + Price,
data = dfSheather,
family = binomial, x = TRUE)
これにより
> print(cbind(coef(logitSheather), optimLogit$par))
[,1] [,2]
(Intercept) -11.19745057 -11.19661798
Service -0.19242411 -0.19249119
Decor 0.09997273 0.09992445
Food 0.40484706 0.40483753
Price 0.09171953 0.09175369
警告として、数値最適化アルゴリズムは慎重に使用する必要があることに注意してください。それらを十分に理解するまで、推定値を数値的に計算する方法を心配するのではなく、モデルの指定に集中できる使用可能なパッケージオプションを使用するのが最善です。