後部が適切であることの確認

ある事後分布の妥当性を検証するように求める教科書に宿題の問題があり、少し問題があります。セットアップは、1つの予測子を持つロジスティック回帰モデルがあり、よりも前に不適切な均一モデルを持っていることです。 $\mathbb{R}^2$

以下のために具体的には、想定そのそう可能性は問題は、この事後が実際に不適切であると私が思うことです。 $i=1,\ldots,k$

y_{i} ∣ α, β, x_{i} \sim Binomial (n, invlogit (α + β x_{i})),

$y_i \mid \alpha, \beta,x_i \sim \text{Binomial}(n,\text{invlogit}(\alpha + \beta x_i)),$

p (y ∣ α, β, x) = \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{y_{i}} [1 - invlogit (α + β x_{i})]^{n - y_{i}} .

$p(y \mid \alpha, \beta, x ) = \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^{y_i}[1-\text{invlogit}(\alpha + \beta x_i)]^{n-y_i}.$

の特定の状況で、変数の変更およびを使用すると、アスタリスクのある行では、であると想定していますが、そうでない場合は、同じ結果になります。 $k=1$ $s_1 = \text{invlogit}(\alpha + \beta x)$ $s_2 = \beta$

\begin{aligned} \iint_{R^{2}} p (y ∣ α, β, x) d α d β & = \iint_{R^{2}} [invlogit (α + β x)]^{y} [1 - invlogit (α + β x)]^{n - y} d α d β \\ = \int_{- \infty}^{\infty} \int_{0}^{1} s_{1}^{y - 1} (1 - s_{1})^{n - y - 1} d s_{1} d s_{2} \\ (*) & = B (y, n - y) \int_{- \infty}^{\infty} 1 d s_{2} \\ = \infty . \end{aligned}

$\begin{align*} \iint_{\mathbb{R}^2}p(y \mid \alpha, \beta, x ) \text{d}\alpha \text{d}\beta &= \iint_{\mathbb{R}^2}[\text{invlogit}(\alpha + \beta x)]^{y}[1-\text{invlogit}(\alpha + \beta x)]^{n-y} \text{d}\alpha \text{d}\beta \\ &= \int_{-\infty}^{\infty}\int_0^1 s_1^{y-1}(1-s_1)^{n-y-1} \text{d}s_1 \text{d}s_2 \\ &= B(y,n-y) \int_{-\infty}^{\infty} 1 \text{d}s_2 \tag{*}\\ &= \infty. \end{align*}$

0 < y < n

$0 < y < n$

私はここで愚かなことをしていますか？または、これは不適切な事後ですか？

— テイラー
ソース

詳細を考慮せずに、一目で（a）

正と負の両方の値を統合し

β

$\beta$ 、（b）

係数が

1 / β

$1/\beta$ 変数を変更するときに表示されないことは、非常に奇妙です。おそらく、おそらく、統合の仕組みに少し注意を払うことで問題が解決するでしょう。

— whuber

私はこれを裏付けるための計算をしていませんが、私の直観と私の記憶はどちらもあなたが正しいと後部が適切である必要はないと言っています。類推して、を修正した場合、フラット事前分布はHaldane事前分布であり、常に適切な事後検定につながるとは限りません。

β = 0

$\beta = 0$

α

$\alpha$

— 男

以下のため、あなたは可能性のために、あなたの方程式から直接見ることができる事後密度というのためのパラメータの組み合わせに沿って一定となる一定の値をとります。したがって、後部は実際に不適切であり、場合、尾根の形をしています。基本的に、観測された応答に適合する回帰直線がデータに適合します。しかし、場合、などの縮退したケースまたは線形分離のケースを除いて、事後が適切でない場合は驚かれるでしょう。

k = 1

$k=1$

p (α, β | y_{1}, x_{1})

$p(\alpha,\beta|y_1,x_1)$

α + β x_{i}

$\alpha + \beta x_i$

k = 1

$k=1$

x_{1}

$x_1$

k > 1

$k>1$

x_{1} = x_{2}

$x_1=x_2$

— Jarle Tufto

@ Xi'anそこからの由来

- 1

$-1$

— Taylor

@JarleTuftoによって説明が完全にスポットオンである：の分布のみに依存し故にについての情報をもたらすことができない、と。したがって、不適切な後部。また、すべてのがすべて等しいか、すべてが等しい場合、より多くの観測結果に問題があります。

Y

$Y$

α + β x

$\alpha+\beta x$

α

$\alpha$

β

$\beta$

y_{i}

$y_i$

0

$0$

n

$n$

— 西安

回答:

、あなたは可能性のために、あなたの方程式から直接見ることができる事後密度というれるparallell線に沿って一定である一定の値をとります。したがって、後部は実際に不適切であり、場合は尾根の形をしています。基本的に、観測された応答に適合する回帰直線はすべて同じように機能します。 $𝑘=1$ $𝑝(𝛼,𝛽|𝑦_1,𝑥_1)$ $𝛼+𝛽𝑥_𝑖$ $𝑘=1$ $𝑥_1$

次に、観測値があるとします。与えられる再パラメータ化を考えるこれは線形変換であるのでとの事前決定定数もで一定です（ただし、。さらなるパラメーター化、つまりの逆ロジット変換をます。明らかに、も演繹的に独立しており、密度は $k=2$

\begin{aligned} η_{1} & = α + β x_{1} \\ η_{2} & = α + β x_{2} \end{aligned}

$\begin{align} \eta_1 &= \alpha + \beta x_1 \\ \eta_2 &= \alpha + \beta x_2 \end{align}$

α, β

$\alpha,\beta$

η_{1}, η_{2}

$\eta_1,\eta_2$

R^{2}

$\mathbb{R}^2$

x_{1} \neq x_{2}

$x_1\neq x_2$

\begin{aligned} p_{i} = \frac{1}{1 + e^{- η_{i}}}, \end{aligned}

$\begin{align} p_i = \frac1{1+e^{-\eta_i}}, \end{align}$

i = 1, 2

$i=1,2$

p_{1}, p_{2}

$p_1,p_2$

π (p_{i}) = π (η_{i}) | \frac{d η_{i}}{d p_{i}} | \propto \frac{d}{d p_{i}} \ln \frac{p_{i}}{1 - p_{i}} = \frac{1}{(1 - p_{i}) p_{i}}

$\pi(p_i)=\pi(\eta_i)\Big|\frac{d\eta_i}{dp_i}\Big|\propto \frac d{dp_i}\ln\frac{p_i}{1-p_i} = \frac1{(1-p_i)p_i}$ これらはいわゆる不適切なハルデンと呼ばれ、両方のパラメーターがゼロに近づくベータ分布の密度の特定の形式の限界として解釈できます。データ条件とします。ただし、、各事後周辺密度は、パラメーター持つ適切なベータ分布です。との事後分布も適切でなければなりません。これは、1つのなどの特別な場合を除いて成立します。

y_{1}, y_{2}

$y_1,y_2$

0 < y_{i} < n

$0<y_i<n$

p_{i}

$p_i$

y_{i}, n - y_{i}

$y_i,n-y_i$

(η_{1}, η_{2})

$(\eta_1,\eta_2)$

(α, β)

$(\alpha,\beta)$

y_{i}

$y_i$ 0または値を取る場合、正規化ベータ関数は無限大であり、の後方（したがっておよび後方）は不適切です。

n

$n$

B (y_{i}, n - y_{i})

$B(y_i,n-y_i)$

p_{i}

$p_i$

α

$\alpha$

β

$\beta$

以下のためにの非正規化事後密度が観察、後方はまた、適切であるしなければならない最初に基づいて事後によって制限されの観察。 $k>2$ $\alpha,\beta$ $k=2$

— ジャール・タフト
ソース

私たちの2つの答えが数学的に一致していないと思います。各場合、積分は無限大であり、すべてのが厳密に端点の間にある場合、積分は有限であると言います。また、これはあなたが誰に尋ねるかに依存することかもしれませんが、事後がすべての可能なデータポイントに適切ではない場合、それは「不適切」であると定義されるという印象を受けました。Haldaneの事前は、これが発生する例です。

y_{i} = n

$y_i=n$

y_{i}

$y_i$

— テイラー

しかし、不等式により、正規化されていない事後（任意の）（最初の不等式の左側）の積分は無限であるため、不一致があります。ませんが、2つの積分を組み合わせる最後のステップには、ととして定義したものだけでなく、なども含まれているようです。それはエラーでした。

y_{i}

$y_i$

s_{1}

$s_1$

s_{2}

$s_2$

invlogit (α + β x_{(n)})

$\mbox{invlogit}(\alpha + \beta x_{(n)})$

— Jarle Tufto

はい、あなたが正しい。これらの2つの場所では被積分関数が異なるため、それらを組み合わせることができません。

— テイラー

残念ながら、これは最も一般的なケースであるを想定しています。

n > 1

$n>1$

— テイラー

それは不適切だと思います。であることを証明する必要があるだけです関数を表すこれで、は単調増加関数なので、場合、

\int_{α \in R β > 0} p (y ∣ α, β, x) = + \infty .

$\int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) = +\infty.$

σ = i n v l o g i t

$\sigma = \mathrm{invlogit}$

σ

$\sigma$

β > 0

$\beta > 0$

σ (α + β x_{i}) > σ (α - β max | x_{i} |) > 0,

$\mathrm{\sigma}(\alpha + \beta x_i) > \mathrm{\sigma}(\alpha - \beta \max |x_i|) > 0,$

1 - σ (α + β x_{i}) > 1 - σ (α + β max | x_{i} |) > 0.

$1 - \mathrm{\sigma}(\alpha + \beta x_i) > 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) > 0.$

したがって、積分

\begin{aligned} \int_{α \in R β > 0} p (y ∣ α, β, x) > & \int_{α \in R β > 0} \prod {[σ (α - β max | x_{i} |)]}^{y_{i}} {[1 - σ (α + β max | x_{i} |)]}^{n_{i} - y_{i}} \\ > & \int_{α \in R β > 0} \prod {[σ (α - β max | x_{i} |)]}^{max n_{i}} {[1 - σ (α + β max | x_{i} |)]}^{max n_{i}} \\ > & \int_{α \in R β > 0} {[σ (α - β max | x_{i} |)]}^{k max n_{i}} {[1 - σ (α + β max | x_{i} |)]}^{k max n_{i}} \end{aligned}

$\begin{aligned} \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \prod \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{y_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{n_i - y_i} \\ >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \prod \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{\max n_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{\max n_i} \\ >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{k\max n_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{k\max n_i} \\ \end{aligned}$

に関するプロパティが必要です： $\sigma$

{(σ (x))}^{N} = \frac{1}{(1 + e^{- x})^{N}} > \frac{1}{2^{N} (max {1, e^{- x}})^{N}} = \frac{1}{2^{N} (max {1, e^{- N x}})} > \frac{1}{2^{N}} σ (N x)

$\left( \sigma(x) \right)^N = \frac{1}{(1+e^{-x})^N} > \dfrac{1}{2^N (\max\{1,e^{-x}\}) ^N} = \dfrac{1}{2^N (\max\{1,e^{-Nx}\})} > \dfrac{1}{2^N}\sigma(Nx)$

してみましょう、、次に $\xi = \alpha - \beta \max |x_i|$ $\eta = \alpha + \beta \max |x_i|, N=k\max n_i$

\begin{aligned} \int_{α \in R β > 0} p (y ∣ α, β, x) > & \int_{α \in R β > 0} {[σ (α - β max | x_{i} |)]}^{N} {[1 - σ (α + β max | x_{i} |)]}^{N} \\ \propto & \int_{- \infty < ξ < η < + \infty} {[σ (ξ)]}^{N} {[σ (- η)]}^{N} \\ > & \frac{1}{2^{2 N}} \int_{ξ}^{+ \infty} (\int_{- \infty}^{+ \infty} σ (N ξ) d ξ) σ (- N η) d η \\ = & + \infty \end{aligned}

$\begin{aligned} \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{N} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{N} \\ \propto& \int\limits_{-\infty < \xi < \eta < +\infty} \left[ \mathrm{\sigma}(\xi) \right]^{N} \left[ \mathrm{\sigma}(-\eta) \right]^{N}\\ >& \frac{1}{2^{2N}}\int\limits_{\xi}^{+\infty} \Big( \int\limits_{-\infty}^{+\infty} \mathrm{\sigma}(N\xi) \mathrm{d}\xi \Big) ~ \mathrm{\sigma}(- N\eta) \mathrm{d}\eta \\ =& +\infty \end{aligned}$

— 愚かな歌
ソース

私はいくつかの版を作りました。それが正しいことを願っています。

— 愚かな歌

最後の2番目のステップでは、二重積分の制限が間違っていると思います。代わりに、を取得し Mapleを使用すると、この二重積分は有限で等しいことがわかります。したがって、あなたの導出に基づいて言えることは、後部の正規化定数は、有限の何かよりも大きいということです。

\begin{aligned} \int_{- \infty}^{\infty} σ (- N η) \int_{- \infty}^{η} σ (N ξ) d ξ d η \end{aligned}

$\begin{align} \int_{-\infty}^\infty\sigma(-N\eta)\int_{-\infty}^\eta\sigma(N\xi) d\xi d\eta \end{align}$

π / (6 N^{2})

$\pi/(6N^2)$

α, β

$\alpha,\beta$

— Jarle Tufto

私はすでに回答を受け入れましたが、事後はすべての可能なデータセットに対して適切ではないことを指摘しておきたいと思います。事後は尤度に比例します。これはもし、この簡素化に

\prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{y_{i}} [1 - invlogit (α + β x_{i})]^{n - y_{i}} .

$\prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^{y_i}[1-\text{invlogit}(\alpha + \beta x_i)]^{n-y_i}.$

y_{1} = y_{2} = \dots = y_{k} = n

$y_1 = y_2 = \cdots = y_k = n$

\prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n},

$\prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n,$

そして、私たちはその見ることができます

\begin{aligned} \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} [invlogit (α + β x_{(1)})]^{n k} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} [invlogit (r_{1})]^{n k} d r_{1} d r_{2} \\ = \infty . \end{aligned}

$\begin{align*} &\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n \text{d}\alpha \text{d}\beta\\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n \text{d}\alpha \text{d}\beta \\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} [\text{invlogit}(\alpha + \beta x_{(1)})]^{nk} \text{d}\alpha \text{d}\beta \\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} [\text{invlogit}(r_1)]^{nk} \text{d}r_1 \text{d}r_2 \\ &= \infty. \end{align*}$

— テイラー
ソース