一般化非線形最小二乗回帰（nlme）の対数尤度を「手で」計算する

私は、機能のための最小二乗非線形回帰、一般化のための対数尤度を計算しようとしている$f(x)=\frac{\beta_1}{(1+\frac x\beta_2)^{\beta_3}}$によって最適化されたgnlsRパッケージの機能をnlme（ブラウン運動と仮定AA系統樹上の距離によって生成された分散共分散行列使用して、corBrownian(phy=tree)からape）パッケージ。次の再現可能なRコードは、x、yデータと9タクサを持つランダムツリーを使用してgnlsモデルに適合します。

require(ape)
require(nlme)
require(expm)
tree <- rtree(9)
x <- c(0,14.51,32.9,44.41,86.18,136.28,178.21,262.3,521.94)
y <- c(100,93.69,82.09,62.24,32.71,48.4,35.98,15.73,9.71)
data <- data.frame(x,y,row.names=tree$tip.label)
model <- y~beta1/((1+(x/beta2))^beta3)
f=function(beta,x) beta[1]/((1+(x/beta[2]))^beta[3])
start <- c(beta1=103.651004,beta2=119.55067,beta3=1.370105)
correlation <- corBrownian(phy=tree)
fit <- gnls(model=model,data=data,start=start,correlation=correlation)
logLik(fit) 

logLikから得られた推定パラメータに基づいて、対数尤度を「手で」（Rで、ただし関数を使用せずに）計算したいgnlsので、からの出力と一致しますlogLik(fit)。注：パラメーターを推定しようとはしていません。gnls関数によって推定されたパラメータの対数尤度を計算したいだけです（誰かがパラメータなしgnlsでパラメータを推定する方法の再現可能な例を持っているなら、私はそれを見ることに非常に興味があるでしょう！）。

Rでこれをどのように実行するかはよくわかりません。SとS-Plusの混合効果モデル（PinheiroとBates）で説明されている線形代数表記法は頭の上のもので、私の試みはどれも一致していませんlogLik(fit)。PinheiroとBatesが説明する詳細は次のとおりです。

一般化された非線形最小二乗モデルの対数尤度 ここで、 φ I = A I β次のように計算されます。$y_i=f_i(\phi_i,v_i)+\epsilon_i$$\phi_i=A_i\beta$

$l(\beta,\sigma^2,\delta|y)=-\frac 12 \Bigl\{ N\log(2\pi\sigma^2)+\sum\limits_{i=1}^M{\Bigl[\frac{||y_i^*-f_i^*(\beta)||^2}{\sigma^2}+\log|\Lambda_i|\Bigl]\Bigl\}}$

ここで、は観測値の数、f ∗ i（β ）= f $N$です。$f_i^*(\beta)=f_i^*(\phi_i,v_i)$

、正定値である Y * iは = Λを- T / 2 iが、Y 、Iおよび F * I（φ I、V I）= Λ - T /$\Lambda_i$$y_i^*=\Lambda_i^{-T/2}y_i$$f_i^*(\phi_i,v_i)=\Lambda_i^{-T/2}f_i(\phi_i,v_i)$

固定用 及び λのML推定 σ 2があります$\beta$$\lambda$$\sigma^2$

$\hat\sigma(\beta,\lambda)=\sum\limits_{i=1}^M||y_i^*-f_i^*(\beta)||^2 / N$

プロファイルされた対数尤度は

$l(\beta,\lambda|y)=-\frac12\Bigl\{N[\log(2\pi/N)+1]+\log\Bigl(\sum\limits_{i=1}^M||y_i^*-f_i^*(\beta)||^2\Bigl)+\sum\limits_{i=1}^M\log|\Lambda_i|\Bigl\}$

これは、Gauss-Seidelアルゴリズムで使用され、次のML推定値を見つけます。 および λの。少ないバイアスされた推定値 σ 2が使用されます。$\beta$$\lambda$$\sigma^2$

$\sigma^2=\sum\limits_{i=1}^M\Bigl|\Bigl|\hat\Lambda_i^{-T/2}[y_i-f_i(\hat\beta)]\Bigl|\Bigl|^2/(N-p)$

ここで、はβの長さを表します。$p$$\beta$

私が直面している特定の質問のリストをまとめました。

1. 何ですか？それはin によって生成された距離行列ですか、それとも何らかの形でλによって変換またはパラメーター化する必要がありますか？$\Lambda_i$big_lambda <- vcv.phylo(tree)ape$\lambda$
2. う BE 、以下の偏った推定（この記事の最後の式）のための方程式を？$\sigma^2$fit$sigma^2
3. 対数尤度を計算するためにを使用する必要がありますか、それともパラメーター推定の中間ステップですか？また、λはどのように使用されますか？それは、すべての乗算され、それは単一の値またはベクトルであり、Λ Iまたは単に非対角要素など？$\lambda$$\lambda$$\Lambda_i$
4. 何です？それはパッケージに入っていますか？もしそうなら、私は和M ∑ i = 1 |を計算する方法について混乱しています。| y ∗ i − f ∗ $||y-f(\beta)||$norm(y-f(fit$coefficients,x),"F")Matrix$\sum\limits_{i=1}^M||y_i^*-f_i^*(\beta)||^2$norm()
5. $\log|\Lambda_i|$log(diag(abs(big_lambda)))big_lambda$\Lambda_i$logm(abs(big_lambda))expmlogm()
6. $\Lambda_i^{-T/2}$t(solve(sqrtm(big_lambda)))
7. はどうですか$y_i^*$$f_i^*(\beta)$

y_star <- t(solve(sqrtm(big_lambda))) %*% y

そして

f_star <- t(solve(sqrtm(big_lambda))) %*% f(fit$coefficients,x)

それとも

y_star <- t(solve(sqrtm(big_lambda))) * y

そして

f_star <- t(solve(sqrtm(big_lambda))) * f(fit$coefficients,x) ？

理論上、これらの質問のすべてが回答された場合、対数尤度はからの出力と一致するように計算できるはずlogLik(fit)です。これらの質問のいずれかの助けは大歓迎です。何か説明が必要な場合は、お知らせください。ありがとう！

更新：対数尤度の計算のさまざまな可能性を実験してきましたが、ここまでで最高の結果が得られました。logLik_calcは、によって返される値から一貫して約1〜3離れていますlogLik(fit)。私は実際の解決策に近いか、これは純粋に偶然によるものです。何かご意見は？

  C <- vcv.phylo(tree) # variance-covariance matrix
  tC <- t(solve(sqrtm(C))) # C^(-T/2)
  log_C <- log(diag(abs(C))) # log|C|
  N <- length(y)
  y_star <- tC%*%y 
  f_star <- tC%*%f(fit$coefficients,x)
  dif <- y_star-f_star  
  sigma_squared <-  sum(abs(y_star-f_star)^2)/N
  # using fit$sigma^2 also produces a slightly different answer than logLik(fit)
  logLik_calc <- -((N*log(2*pi*(sigma_squared)))+
       sum(((abs(dif)^2)/(sigma_squared))+log_C))/2

残差に相関構造がない単純なケースから始めましょう。

fit <- gnls(model=model,data=data,start=start)
logLik(fit)

その後、対数尤度は、以下を使用して手動で簡単に計算できます。

N <- fit$dims$N
p <- fit$dims$p
sigma <- fit$sigma * sqrt((N-p)/N)
sum(dnorm(y, mean=fitted(fit), sd=sigma, log=TRUE))

残差は独立しているため、次を使用できます。 dnorm(..., log=TRUE)ているため、個々の対数尤度項を取得する（そしてそれらを合計する）ためにます。または、次を使用できます。

sum(dnorm(resid(fit), mean=0, sd=sigma, log=TRUE))

注fit$sigmaの「あまり偏っ見積もりではありません$\sigma^2$"-そのため、最初に手動で修正する必要があります。

次に、残差が相関するより複雑なケースについて説明します。

fit <- gnls(model=model,data=data,start=start,correlation=correlation)
logLik(fit)

ここでは、多変量正規分布を使用する必要があります。これにはどこかに機能があると確信していますが、これを手動で行ってみましょう。

N <- fit$dims$N
p <- fit$dims$p
yhat <- cbind(fitted(fit))
R <- vcv(tree, cor=TRUE)
sigma <- fit$sigma * sqrt((N-p)/N)
S <- diag(sigma, nrow=nrow(R)) %*% R %*% diag(sigma, nrow=nrow(R))
-1/2 * log(det(S)) - 1/2 * t(y - yhat) %*% solve(S) %*% (y - yhat) - N/2 * log(2*pi)