ベイジアンモデルの選択と信頼できる区間

3つの変数を含むデータセットがあり、すべての変数は量的変数です。それを、x 1、x 2と呼びましょう。私はMCMCを介してベイジアンの視点で回帰モデルをフィッティングしています$y$$x_1$$x_2$rjags

私は探索的分析を行い、散布図は、2次項を使用する必要があることを示唆しています。それから私は2つのモデルを取り付けました$y\times x_2$

（1）$y=\beta_0+\beta_1*x_1+\beta_2*x_2$

（2）$y=\beta_0+\beta_1*x1+\beta_2*x_2+\beta_3*x_1x_2+\beta_4*x_1^2+\beta_5*x_2^2$

モデル1では、各パラメーターの効果サイズは小さくなく、95％の信頼できる間隔には値が含まれていません。$0$

モデル2のパラメータの効果の大きさは、及びβ 4が小さいものであり、全てのパラメータの信頼区間のそれぞれに含まれる0。$\beta_3$$\beta_4$$0$

信頼できる間隔にが含まれているという事実は、パラメーターが重要ではないと言うのに十分ですか？$0$

次に、次のモデルを調整しました

（3）$y=\beta_0+\beta_1*x_1+\beta_2*x_2+\beta_3*x^2_2$

$\beta_1$$0$

ベイジアン統計で変数選択を行う正しい方法はどれですか？

$\beta_j$$\delta_j$

ガウスモデルの推定値は次のとおりです。

            Mean      SD  Naive SE Time-series SE
B[1]     -1.17767 0.07112 0.0007497      0.0007498
B[2]     -0.15624 0.03916 0.0004128      0.0004249
B[3]      0.15600 0.05500 0.0005797      0.0005889
B[4]      0.07682 0.04720 0.0004975      0.0005209
delta[1] -3.42286 0.32934 0.0034715      0.0034712
delta[2]  0.06329 0.27480 0.0028966      0.0028969
delta[3]  1.06856 0.34547 0.0036416      0.0036202
delta[4] -0.32392 0.26944 0.0028401      0.0028138

Lassoモデルの推定値は次のとおりです。

              Mean      SD  Naive SE Time-series SE
B[1]     -1.143644 0.07040 0.0007421      0.0007422
B[2]     -0.160541 0.05341 0.0005630      0.0005631
B[3]      0.137026 0.05642 0.0005947      0.0005897
B[4]      0.046538 0.04770 0.0005028      0.0005134
delta[1] -3.569151 0.27840 0.0029346      0.0029575
delta[2] -0.004544 0.15920 0.0016781      0.0016786
delta[3]  0.411220 0.33422 0.0035230      0.0035629
delta[4] -0.034870 0.16225 0.0017103      0.0017103
lambda    7.269359 5.45714 0.0575233      0.0592808

$\delta_2$$\delta_4$

$\delta_2$

重要なことに基づいてモデル（またはAICなどのその他の基準、信頼できる区間に0が含まれるかどうかなど）を構築することは、特にモデル構築を行っていないかのように推論を行う場合、かなり問題があることはよく知られています。ベイジアン分析を行ってもそれは変わりません（https://stats.stackexchange.com/a/201931/86652も参照）。つまり、変数の選択ではなく、モデルの平均化（または、係数がゼロになる可能性があるが、LASSOやエラスティックネットなどのモデリングプロセス全体を反映するもの）を行う必要があります。

$\exp(-\text{BIC}/2)$

あるいは、モデルの平均化を、点の質量（点の質量の重みは、効果が完全にゼロになる事前確率=効果がモデルにない）と連続分布（例：スパイクとスラブの事前分布）。MCMCのサンプリングは、そのような以前の人にとってはかなり難しい場合があります。

Carvalho et al。事前にスパイクアンドスラブの連続近似のように機能することを示唆することにより、事前に馬蹄形の収縮を動機付けます。これは、問題を階層モデルに埋め込む場合でもあります。一部の変数への影響のサイズと存在は、他の変数に必要な証拠を少し緩和します（グローバル収縮パラメーターにより、これは誤った発見に少し似ています）レート制御）、そして一方で、証拠が十分に明確である場合は、個々の影響を単独で立てることができます。Stan / rstanに基づいて構築されたbrms Rパッケージから利用できる便利な実装があります。horseshoe +のような他にも同様の事前のものがいくつかあり、全体のトピックは進行中の研究の領域です。

ベイズ変数の選択には、いくつかの形式的な方法があります。ベイジアン変数選択方法の少し古いレビューが以下に示されています：

ベイジアン変数の選択方法のレビュー：何を、どのように、どの方法で

さまざまな方法の比較と、それらが実装されているRパッケージのパフォーマンスも含まれる、より最近のレビューは次のとおりです。

ベイズ変数選択と一変量線形回帰におけるモデル平均化の方法とツール

この参照は、変数の選択を実行するために応答と共変量の値（場合によってはハイパーパラメーター値）をプラグインする必要がある特定のRパッケージを指すという点で特に役立ちます。

「ベイジアン」変数選択を実行する別の迅速でダーティで非推奨の方法は、BICとRコマンドstepAIC（）を使用して段階的選択（前方、後方、両方）を使用することです。ビック。

https://stat.ethz.ch/R-manual/R-devel/library/MASS/html/stepAIC.html

$\beta_4=0$

https://arxiv.org/pdf/0910.1452.pdf

$β$

また、41：55には、このトピックに関する素晴らしい講義があります。

https://vimeo.com/14553953