適切な事前および指数化された可能性は、不適切な事後につながる可能性がありますか？

（この質問は西安からのこのコメントに触発されています。）

事前分布が適切で、尤度が明確である場合、事後分布はほぼ確実に適切です。 $\pi(\theta)$ $L(\theta | x)$ $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$

場合によっては、代わりに、調整された、または指数化された尤度を使用して、疑似事後

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$ for（たとえば、これには計算上の利点があります）。

α > 0

$\alpha>0$

この設定では、適切な事前確率を持つことは可能ですが、疑似事後は不適切ですか？

bayesian prior posterior

— ロビン・ライダー
ソース

実際、数分後、以前のx尤度^α積を考慮すると、以前のx尤度積の発散が減少するため、それはありそうもないと考えます。そして、よりゆっくりとゼロになる条件は、適切な事前計算によって制御されます。したがって、私の賭けは、これは不可能であるということです。（警告：私は間違っていることが知られています！）

— Xi'an

場合の反例を探すのに役立つ可能性があります。マルコフの不等式から、したがって、に多項式の裾がある場合を見つけることができれば、不適切な疑似事後を構築できる可能性があります。

α > 1

$\alpha > 1$

E_{θ \sim π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ \sim π} (L (x | θ) > t) ⟹ E_{θ \sim π} [L (x | θ)^{α}] ⩾ sup_{t > 0} t^{α} P_{θ \sim π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

— πr8

この引数はでも機能しますか？また、この方法で構築された可能性が適切であることを証明する方法はありますか？

α < 1

$\alpha < 1$

— InfProbSciX 2018年

実際、場合、であることがわかっているため、RHSの上限は常に有限であり、、あなたはジェンセンの議論を使って同じ控除をする。したがって、その点で議論は失敗します。この引数が成功するためには無限の尤度が必要であること、つまり、すべてのに対してが必要であるという小さな注意。

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

— πr8

確かに、場合、1つ作成することはできません。私は言わざるを得ません、私は無限の可能性の例を見るために魅了されるでしょう！おそらく、ベータ後方は無制限の可能性の結果でしょう。

α = 1

$\alpha = 1$

— InfProbSciX 2018年

回答:

以下のために、おそらくこのような事後を構築することは不可能であることを示すための引数のですか？ $\alpha \leq 1$

可能かどうかを確認します。 $\int \tilde \pi(\theta|x)d\theta = \infty$

RHSについて：

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

場合、は凹関数なので、ジェンセンの不等式により、 $\alpha \leq 1$ $x^{\alpha}$

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... 西安が指摘したは、正規化定数（証拠）です。 $m(x)$

— InfProbSciX
ソース

きちんと、ありがとう。に対して事後が適切であるという事実を使用していることが好きです。

α = 1

$\alpha=1$

— ロビンライダー

結果を@InfProbSciXの回答で使用して、結果を一般的に証明することができます。をとして書き換え場合我々はそれを知っているので、我々は、上記のJensenの不等式ケースを持っている normalisableです。同様に、場合、を、これも同じケースに該当しますは正規化可能であることがわかっているためです。これで、（強い）帰納法を使用して、ケースを一般的に示すことができます。 $L(\theta\mid x)^\alpha\pi(\theta)$

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$

1 \leq α \leq 2

$1 \leq \alpha \leq 2$

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$

2 \leq α \leq 3

$2 \leq \alpha \leq 3$

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$

1 \leq p \leq 2

$1 \leq p \leq 2$

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$

古いコメント

これが非常に便利かどうかはわかりませんが、コメントできないので、回答に残しておきます。@InfProbSciXのに関する優れた発言に加えて、であるとさらに仮定すると、適切な事前確率を持つことはできませんが、疑似事後が不適切になります。以下のための。たとえば、の2番目（番目）のモーメントが存在することがわかっている場合、それは（）にあることがわかり、したがって、擬事後は。これらのノートのセクション1 $\alpha \leq 1$ $L(\theta \mid x) \in L^p$ $1 < \alpha \leq p$ $p$ $L(\theta \mid x)$ $L^2$ $L^p$ $0 \leq \alpha \leq 2$ もう少し詳しく説明しますが、残念ながら、たとえば PDF のクラスがどれほど広いかは明確ではありません。ここで順番を変えて話してしまった場合は申し訳ありません。コメントとして残しておきたかったのです。 $L^{10}$

— ルイスマックスカルバーリョ
ソース

そうです、尤度関数が空間内にある場合、つまり、空間は、事前に誘導された測度に対して、後部はに対して適切です。私はここで完全に推測していますが、空間は私たちが考えることができるほとんどの可能性を包含していると思います-私が何年も前にがリーマン可積分である場合、その正の力も同様であるという証明を読んだかもしれません。は積分可能ですが。参考のために定理1.26

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$

— InfProbSciX

@InfProbSciX、私はここに影に潜んでいる完全な証拠があるかもしれないと思います。私はあなたの答えから、は負になる可能性があると考えています。それが正しい場合、、積分可能関数の逆数が積分可能であるため、疑似尤度が積分可能になることを示すことができます。尤度が可積分である場合、事前分布が有界であり、可積分と有界関数の積が可積分であるため、事後は可積分であると私は主張します（math.stackexchange.com/a/56008/271610）。どう考えているか教えてください。

α

$\alpha$

p > 1

$p > 1$

— Luiz Max Carvalho

場合は、質問で明確に想定されているため、無視してかまいません。一般的な場合のの可積分性を示す必要があります。また、事前分布が常に制限されているかどうかもわかりません。たとえば、の密度はそうではありません。

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

— InfProbSciX 2018年

@InfProbSciX、私が意味したのは、が問題ではなくても、その条件が成り立つ場合、が可積分であるという事実を利用して可積分性を示すことができるということですはです。あなたが言うように、事前分布が無制限である場合、それらすべてはゼロです。代わりに、可能性を制限することもできます。MLEで使用する可能性は、制限されるか、強い凹状（en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties）である必要があります。一般的な証拠を構築します。何かご意見は？

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

f

$f$

1 / f

$1/f$

— Luiz Max Carvalho

すみません、見逃しました。面白い試みになると思います。

— InfProbSciX 2018年