ベイジアン線形回帰で事後予測分布を評価する

10

ベイジアン線形回帰の事後予測分布を、3ページのここで説明した基本的なケースを超えて評価し、以下にコピーする方法に混乱しています。

p (\tilde{y} ∣ y) = \int p (\tilde{y} ∣ β, σ^{2}) p (β, σ^{2} ∣ y)

$p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y)$

基本的なケースは次の線形回帰モデルです。

y = X β + ϵ, y \sim N (X β, σ^{2})

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \sigma^2)$

で均一な事前分布、でscale-Inv事前分布、または正規逆ガンマ事前分布（ここを参照）を使用する場合、事後予測分布は分析的であり、学生tです。 $\beta$ $\chi^2$ $\sigma^2$

このモデルについてはどうですか？

y = X β + ϵ, y \sim N (X β, Σ)

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \Sigma)$

場合、しかし知られている、事後予測分布は多変量ガウス分布です。通常、ませんが、推定する必要があります。たぶん、あなたはその対角線を言い、何らかの方法で対角線を共変量の関数にします。これについては、ゲルマンのベイズデータ分析の線形回帰の章で説明しています。 $y \sim N(X\beta, \Sigma)$ $\Sigma$ $\Sigma$

この場合、事後予測分布の分析フォームはありますか？私の推定値を多変量の学生tにプラグインできますか？ 複数の分散を推定する場合、分布は依然として多変量スチューデントtですか？

私はいくつかのすでに手元にあると言っているので、私は尋ねています。線形回帰A、線形回帰Bなどによって予測された可能性が高いかどうかを知りたい $\tilde y$

— bill_e
ソース

1

事後分布から事後サンプルがある場合は、モンテカルロ近似を使用して予測分布を評価できます

— niandra82

ええと、私はいつでもそれを行うことができました。この場合、分析式はありませんか？

— bill_e 2015

ちなみに、リンクは壊れています。あなたが別の方法で参照を組み込むとしたら素晴らしいでしょう。

— Maxim.K 2018

6

あなたが上に均一な前に想定した場合、その後の事後である予測分布を見つけるには、さらに情報が必要です。もしとの条件付きで独立している所与、次にしかし、通常、これらのタイプのモデルでは、とは条件付きで独立ではなく、通常、 $\beta$ $\beta$

β | y \sim N (\hat{β}, V_{β}) .

$\beta|y \sim N(\hat{\beta},V_\beta).$

\hat{β} = [X^{'} Σ^{- 1} X] X^{'} y and V_{β} = [X^{'} Σ^{- 1} X]^{- 1} .

$\hat{\beta} = [X'\Sigma^{-1}X]X'y \quad \mbox{and} \quad V_\beta =[X'\Sigma^{-1}X]^{-1}.$

\tilde{y} \sim N (\tilde{X} β, \tilde{Σ})

$\tilde{y} \sim N(\tilde{X}\beta,\tilde{\Sigma})$

y

$y$

β

$\beta$

\tilde{y} | y \sim N (\tilde{X} \hat{β}, \tilde{Σ} + V_{β}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta}, \tilde{\Sigma} + V_\beta).$

y

$y$

\tilde{y}

$\tilde{y}$

(\begin{matrix} y \\ \tilde{y} \end{matrix}) \sim N ([\begin{matrix} X β \\ \tilde{X} β \end{matrix}], [\begin{array}{cc} Σ & Σ_{12} \\ Σ_{21} & \tilde{Σ} \end{array}]) .

$\left( \begin{array}{c} y \\ \tilde{y} \end{array} \right) \sim N\left( \left[\begin{array}{c} X\beta \\ \tilde{X}\beta \end{array}\right], \left[ \begin{array}{cc} \Sigma & \Sigma_{12} \\ \Sigma_{21} & \tilde{\Sigma} \end{array} \right]\right).$ この場合、これは、およびがすべて既知であることを前提としています。ご指摘のとおり、通常は不明であり、推定する必要があります。この構造を持つ一般的なモデル（時系列モデルや空間モデルなど）の場合、通常、予測分布の閉じた形式はありません。

\tilde{y} | y \sim N (\tilde{X} \hat{β} + Σ_{21} Σ^{- 1} (y - X \hat{β}), \tilde{Σ} - Σ_{21} Σ^{- 1} Σ_{12}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta} + \Sigma_{21}\Sigma^{-1}(y-X\hat{\beta}), \tilde{\Sigma} - \Sigma_{21}\Sigma^{-1}\Sigma_{12}).$

Σ, Σ_{12},

$\Sigma, \Sigma_{12},$

\tilde{Σ}

$\tilde{\Sigma}$

— ハラドニエミ
ソース

2

非情報または多変量正規ウィシャート事前分布では、古典的な多変量多重回帰の多変量スチューデント分布としての分析形式があります。このドキュメントの展開はあなたの質問に関連していると思います（付録A :-)が好きかもしれません）。私は通常、結果をWinBUGSおよび分析形式を使用して取得した事後予測分布と比較しました。これらはまったく同じです。問題は、特に不均衡な設計で、混合効果モデルに追加の変量効果がある場合にのみ困難になります。

一般に、古典的な回帰では、yとỹは条件付きで独立しています（残差はiidです）。もちろん、そうでない場合、ここで提案された解決策は正しくありません。

Rでは（ここでは一様事前分布の解）、モデルの応答の1つのlmモデル（「モデル」という名前）を作成し、それを「モデル」とすると、多変量予測分布を取得する方法は次のとおりです。

library(mvtnorm)
Y = as.matrix(datas[,c("resp1","resp2","resp3")])
X =  model.matrix(delete.response(terms(model)), 
           data, model$contrasts)
XprimeX  = t(X) %*% X
XprimeXinv = solve(xprimex)
hatB =  xprimexinv %*% t(X) %*% Y
A = t(Y - X%*%hatB)%*% (Y-X%*%hatB)
F = ncol(X)
M = ncol(Y)
N = nrow(Y)
nu= N-(M+F)+1 #nu must be positive
C_1 =  c(1  + x0 %*% xprimexinv %*% t(x0)) #for a prediction of the factor setting x0 (a vector of size F=ncol(X))
varY = A/(nu) 
postmean = x0 %*% hatB
nsim = 2000
ysim = rmvt(n=nsim,delta=postmux0,C_1*varY,df=nu)

これで、ysimの分位数は予測分布からのベータ期待許容区間です。もちろん、サンプリングされた分布を直接使用して、好きなことを行うことができます。

— ピエール・レブルン
ソース