MCMCベースの回帰モデルの残留診断


21

最近、MCMCアルゴリズム(実際にはRの関数MCMCglmm)を使用して、ベイジアンフレームワークで回帰混合モデルの適合に着手しました。

推定プロセスの収束を診断する方法を理解したと思います(トレース、gewekeプロット、自己相関、事後分布...)。

ベイジアンフレームワークで私を襲ったことの1つは、それらの診断を行うために多くの努力が注がれているように思えるのに対し、近似モデルの残差のチェックに関してはほとんど行われていないように見えることです。たとえば、MCMCglmmでは、residual.mcmc()関数は存在しますが、実際にはまだ実装されていません(つまり、戻り値:「MCMCglmmオブジェクトにはまだ実装されていない残差」。predict.mcmc()にも同じ話があります)。他のパッケージにも欠けているようで、より一般的には、私が見つけた文献ではほとんど議論されていません(非常に頻繁に議論されているDICは別として)。

誰かが私にいくつかの便利なリファレンス、そして理想的には私が遊んだり修正したりできるRコードを教えてくれますか?

どうもありがとう。


いい質問ですね。私は、ベイジアンモデルチェックに関するCosma ShaliziとのAndrew Gelmanの論文が本当に好きです。
デビッドJ.ハリス

回答:


7

残差という用語の使用は、ベイジアン回帰と一致しないと思います。頻繁な確率モデルでは、固定の推定可能な量と見なされるのはパラメーターであり、データ生成メカニズムには観測データに関連付けられたランダムな確率モデルがあります。ベイジアンの場合、確率モデルのパラメーターは可変であると見なされ、固定データはこれらのパラメーターが何であるかについての信念を更新します。したがって、回帰モデルで観測されたマイナス適合値の分散を計算している場合、観測されたコンポーネントの分散は0であるのに対し、近似コンポーネントはモデルパラメーターの事後確率密度の関数として変化します。これは、頻繁な回帰モデルから導き出すものの反対です。ベイズ回帰モデルの確率的仮定をチェックすることに興味がある場合、パラメータ推定値の事後密度(MCMCサンプリングから推定)と正規分布の単純なQQplotは、残差(またはピアソン残差)の分析に類似した診断力を持っていると思います非線形リンク関数の場合)。


1
これは良い答えです。観測マイナス適合残差から計算された有用なベイジアン構成を与える答えはまだあるかもしれませんが、これは確かにダウン投票されるべきではありません。
13

3
また、ベイジアン設定では実際には「適合」値がないことを明確にする価値があるかもしれません。指定された入力の事後平均を計算して、その入力でのターゲット変数の期待値の事後推定値の最大値を取得できます。しかし、これはすべてをポイント推定値に減らすことになるため、ベイジアン推論を行う場合は通常は望ましくありません。
13

2
@EMSはいずれも意味のある残差です。ベイジアンだからといって、仮定がデータに反映されているかどうかをチェックできないわけではありません。
-Glen_b-モニカーの復活2013

1
頻繁な設定での正確な確率的推論(正規性の仮定)の場合、「残差」は、研究実験の複製において、「適合値」(または条件付き平均)から条件付きで独立します。ベイズの世界では、データはランダムではないので、何が条件付きで何から独立するのでしょうか?
AdamO

1
E[Y|X]XY
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.