単数ベイジアン回帰-事後は明確に定義されていますか？

SEコミュニティ、次の問題についていくつかの洞察を得たいと思います。単純な線形回帰モデル与えられた場合等分散誤差項を持つガウス尤度関数の下では、従属変数の条件付き分布はの形式をとりますおよび前に条件付き（有益でない）共役を割り当てますは。周辺事後分布が多変量tであるのは標準的な結果です

Y = X β + ϵ, where Y \in R^{T}, X \in R^{T \times N} .

$Y=X\beta+\epsilon\text{ , where } Y\in\mathbb{R}^T,X\in\mathbb{R}^{T \times N}.$

Y | β, h \sim N (X β, h^{- 1} I) .

$Y|\beta,h \sim N(X\beta,h^{-1}I).$

β

$\beta$

h

$h$

β | h \sim N (0, c I), h \sim G (s^{- 2}, v)

$\beta|h \sim N(0,cI), h\sim G(s^{-2},v)$

c \to \infty, v \to 0

$c\rightarrow\infty, v\rightarrow0$

β

$\beta$

β | D \sim t_{N} (\hat{β}, \hat{Σ}, T) .

$\beta|D\sim t_N (\hat{\beta},\hat{\Sigma},T).$ が特異な場合はどうなりますか？標準回帰では、を使用する代わりに、一般化されたMoore-Penrose疑似逆を使用します。ただし、この場合、事後分散も特異であり、 -Distributionがまだ明確に定義されているとは思えません。これは正しいです？

(X^{'} X)

$(X'X)$

(X^{'} X)^{+}

$(X'X)^+$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

\hat{Σ} := c (X^{'} X)^{- 1}

$\hat{\Sigma}:=c(X'X)^{-1}$

t

$t$

さらに気が散る：私は事後分布ではなく、線形結合にのみ興味があると仮定します。ここで、および。その分布は実際には定義されていないもの（分布）に基づいていますが、その分布からサンプリングできます。これを処理する方法はありますか？それとも私の質問の本質的な間違いが私の主張全体を時代遅れにしているのでしょうか？ $\beta$ $z:=A\beta$ $A\in\mathbb{R}^{N-1 \times N}$ $|A\hat{\Sigma}A'|\neq 0$ $\beta$

— マフィン1974
ソース

データがモデルパラメーターを一意に特定する場合、情報提供のない事前分布は、せいぜい、有益な結果を提供します。この観察が、OLSだけに依存するのではなく、リッジ回帰とその関連がある理由です。しかし、データが十分な情報を提供しない場合、通常は、正規化された回帰ルート（尾根など）または完全なベイズルートのいずれかを使用します。完全なベイズルートでは、データに関する適切で有益な事前分布を定義するだけで、問題は扱いやすくなります。

— Sycoraxは、モニカを2015

これまでのコメントありがとうございます！の後部が適切に定義されていないという点がわかります。しかし、これは本当に、少なくとも理論的に明確に定義されている確率変数問題を引き起こしますか？

β

$\beta$

z

$z$

— muffin1974

上手。私を混乱させるのは、解決策への道がまったく満たされていないにもかかわらず、の後方がもっともらしいように見えることです。検索に時間を浪費する代わりに、直接回帰パラメーターを取得することが可能であると楽観視しているため、現在、回帰方程式を書き換える方法を探しています。しかし、これは私の特定のケースでは可能であるように見えますが、「悪い」モデルが機能しているモデルにネストされている場合、それが何を意味するのかという疑問が残ります...

z

$z$

z

$z$

β

$\beta$

— muffin1974

あなたの質問の主な問題は、制限を取ることは、測定値と確率分布に直接には及ばないことです。メジャーに関連する収束には、さまざまなタイプがあります。

したがって、共役を考慮して、とをにしおよび、それぞれ適切な、または一意の数学的な意味を持ちません。

β | h \sim N (0, c I), h \sim G (s^{- 2}, ν)

$\beta|h \sim \mathcal{N}(0,cI), h\sim \mathcal{G}(s^{-2},\nu)$

ν

$\nu$

c

$c$

0

$0$

\infty

$\infty$

ここで、不適切な以前のを考慮した場合、尤度関連する事後分布はありません。は、潜在的な事後が条件付きの統合されないためです。全くありません逆が存在しないためとには明確に定義された分布のいずれか。

π (β, h) \propto \frac{1}{h}

$\pi(\beta,h)\propto\frac{1}{h}$

L （ β 、 h | バツ 、 y ） = \exp {- h （ y - バツ β ）^{T} （ y - バツ β ） / 2} h^{T / 2}

$L(\beta,h|X,y)=\exp\{-h(y-X\beta)^\text{T}(y-X\beta)/2\}h^{T/2}$

β

$\beta$

h

$h$

\hat{Σ} = （ {バツ}^{T} バツ ）^{- 1}

$\hat{\Sigma}=(X^\text{T}X)^{-1}$

A β

$A\beta$

— 西安
ソース