タグ付けされた質問 「posterior」

特定のパラメーターについて推論するためにMCMCサンプルを取得する場合、対象とする必要のある有効なサンプルの最小数の良いガイドは何ですか？ また、モデルが多少複雑になると、このアドバイスは変わりますか？

13 bayesian  sample-size  mcmc  posterior 

ポイントのセットます。各点y iは、分布p （y i | x ）= 1を使用して生成されます y={y1,y2,…,yN}y={y1,y2,…,yN}\mathbf{y} = \{y_1, y_2, \ldots, y_N \}yiyiy_ixの 事後を取得するには、p（x|y）∝p（y|x）p（x）=p（x） N ∏ i=1p（yi|x）と書き ます。期待伝播 に関するミンカの論文によれば、事後分布を得るには2Nの計算が必要です。p(yi|x)=12N(x,1)+12N(0,10).p(yi|x)=12N(x,1)+12N(0,10). p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10). xxxp(x|y)∝p(y|x)p(x)=p(x)∏i=1Np(yi|x).p(x|y)∝p(y|x)p(x)=p(x)∏i=1Np(yi|x). p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x). 2N2N2^Nであるため、大きなサンプルサイズ Nの場合、問題は扱いにくいものになります。ただし、単一の y i尤度の形式は …

13 bayesian  mixture  posterior 

精密マトリックスinfering場合ΛΛ\boldsymbol{\Lambda}生成するために使用される正規分布のNNN D次元のベクトルx1,..,xNx1,..,xN\mathbf{x_1},..,\mathbf{x_N} xi∼N(μ,Λ−1)xi∼N(μ,Λ−1)\begin{align} \mathbf{x_i} &\sim \mathcal{N}(\boldsymbol{\mu, \Lambda^{-1}}) \\ \end{align} 私たちは通常、前上ウィシャートを置くΛΛ\boldsymbol{\Lambda}ウィッシャート分布が知られている平均と未知の分散を持つ多変量正規分布のprecissionのためのコンジュゲート前であることから： Λ∼W(υ,Λ0)Λ∼W(υ,Λ0)\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align} ここである自由度とスケール行列が。モデルに堅牢性と柔軟性を追加するために、ウィシャートのパラメーターよりも優先度を高くしました。たとえば、GörürとRasmussenは次の提案しています： whereυυ\upsilonΛ0Λ0\boldsymbol{\Lambda_0}GΛ01υ−D+1∼W(D,1DΛx)∼G(1,1D)Λ0∼W(D,1DΛx)1υ−D+1∼G(1,1D)\begin{align} \mathbf{\Lambda_0} &\sim \mathcal{W}(D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \frac{1}{\upsilon-D + 1} &\sim \mathcal{G}(1, \frac{1}{D}) \\ \end{align}GG\mathcal{G}はガンマ分布です。 質問： 後部をサンプリングするためP （Λ 0 | X 、Λ 、υ 、D 、Λ X）α W（Λ | υ 、Λ 0）W（Λ 0 | …

12 bayesian  posterior  hierarchical-bayesian  conjugate-prior  wishart 

これは計算科学でも尋ねられました。 私は11個のデータサンプルを、自己回帰のためのいくつかの係数のベイズ推定値を計算しようとしています： ε iは平均値0、分散を有するガウスである σ 2 E ベクターに事前分布（μ 、α ）tは、平均のガウスである（0 、0 ）と対角エントリを有する対角共分散行列が等しいです σ 2 のp。Yi=μ+α⋅Yi−1+ϵiYi=μ+α⋅Yi−1+ϵi Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i} ϵiϵi\epsilon_{i}σ2eσe2\sigma_{e}^{2}(μ,α)t(μ,α)t(\mu, \alpha)^{t}(0,0)(0,0)(0,0)σ2pσp2\sigma_{p}^{2} 自己回帰式に基づいて、この手段は、データ点（の分布ことYiYiY_{i}）、平均して正常であるμ+α⋅Yi−1μ+α⋅Yi−1\mu + \alpha\cdot{}Y_{i-1}と分散σ2eσe2\sigma_{e}^{2}。したがって、すべてのデータポイントの密度(Y)(Y)(Y)（独立していると仮定すると、これは作成中のプログラムに適しています）は次のようになります。p(Y|(μ,α)t)=∏i=21112πσ2e−−−−√exp−(Yi−μ−α⋅Yi−1)22σ2e.p(Y|(μ,α)t)=∏i=21112πσe2exp⁡−(Yi−μ−α⋅Yi−1)22σe2. p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}. ベイズの定理により、上記の密度と前の密度の積をとることができます。その後、正規化定数が必要になります。私の考えでは、これはガウス分布になるはずなので、μμ\muと積分で明示的に計算するのではなく、最後に正規化定数を心配することができαα\alphaます。 これは私が問題を抱えている部分です。事前密度（多変量）とこの単変量データ密度の積の乗算を計算するにはどうすればよいですか？後部は純粋にμμ\muと密度である必要がありαα\alphaますが、そのような製品からどのようにそれを得ることができるかわかりません。 あなたが私を正しい方向に向けただけで、厄介な代数を実行する必要がある場合でも、ポインタは本当に役立ちます（これはすでに何度か試したことです）。 出発点として、ここにベイズの規則からの分子の形式があります：1(2πσ2e)5⋅2πσ2pexp[12σ2e∑i=211(Yi−μ−α⋅Yi−1)2−μ22σ2p−α22σ2p].1(2πσe2)5⋅2πσp2exp⁡[12σe2∑i=211(Yi−μ−α⋅Yi−1)2−μ22σp2−α22σp2]. \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} …

12 bayesian  mathematical-statistics  posterior 

ケビンマーフィーのガウス分布の共役ベイズ分析では、事後予測分布は p(x∣D)=∫p(x∣θ)p(θ∣D)dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta ここで、はモデルが適合するデータであり、は見えないデータです。私が理解していないのは、積分の最初の項でへの依存がなくなる理由です。確率の基本的なルールを使用して、私は期待したでしょう：DDDxxxDDD p(a)p(a∣b)p(x∣D)=∫p(a∣c)p(c)dc=∫p(a∣c,b)p(c∣b)dc↓=∫p(x∣θ,D)⋆p(θ∣D)dθp(a)=∫p(a∣c)p(c)dcp(a∣b)=∫p(a∣c,b)p(c∣b)dc↓p(x∣D)=∫p(x∣θ,D)⏞⋆p(θ∣D)dθ \begin{align} p(a) &= \int p(a \mid c) p(c) dc \\ p(a \mid b) &= \int p(a \mid c, b) p(c \mid b) dc \\ &\downarrow \\ p(x \mid D) &= \int \overbrace{p(x \mid …

12 bayesian  predictive-models  inference  posterior 

（この質問は西安からのこのコメントに触発されています。） 事前分布が適切で、尤度が明確である場合、事後分布はほぼ確実に適切です。π(θ)π(θ)\pi(\theta)L(θ|x)L(θ|x)L(\theta | x)π(θ|x)∝π(θ)L(θ|x)π(θ|x)∝π(θ)L(θ|x)\pi(\theta|x)\propto \pi(\theta) L(\theta|x) 場合によっては、代わりに、調整された、または指数化された尤度を使用して、疑似事後 π~(θ|x)∝π(θ)L(θ|x)απ~(θ|x)∝π(θ)L(θ|x)α\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha for（たとえば、これには計算上の利点があります）。α>0α>0\alpha>0 この設定では、適切な事前確率を持つことは可能ですが、疑似事後は不適切ですか？

11 bayesian  prior  posterior 

Normal-Wishart事後の導出に取り組んでいますが、パラメーターの1つ（スケールマトリックスの事後、下部を参照）で行き詰まっています。 コンテキストと完全性のために、ここにモデルと残りの派生があります： xiμΛ∼N(μ,Λ)∼N(μ0,(κ0Λ)−1)∼W(υ0,W0)xi∼N(μ,Λ)μ∼N(μ0,(κ0Λ)−1)Λ∼W(υ0,W0)\begin{align} x_i &\sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Lambda})\\ \boldsymbol{\mu} &\sim \mathcal{N}(\boldsymbol{\mu_0}, (\kappa_0 \boldsymbol{\Lambda})^{-1})\\ \boldsymbol{\Lambda} &\sim \mathcal{W}(\upsilon_0, \mathbf{W}_0) \end{align} （比例定数まで）3つの要因のそれぞれの展開形式は次のとおりです。 可能性： N(xi|μ,Λ)∝|Λ|N/2exp(−12∑i=1N(xTiΛxi−2μTΛxi+μTΛμ))N(xi|μ,Λ)∝|Λ|N/2exp⁡(−12∑i=1N(xiTΛxi−2μTΛxi+μTΛμ))\begin{align} \mathcal{N}(\mathbf{x}_i &| \boldsymbol{\mu}, \boldsymbol{\Lambda}) \propto\notag\\ &|\boldsymbol{\Lambda}|^{N/2} \exp{\left(-\frac{1}{2}\sum_{i=1}^N \left( \mathbf{x}_i^T\boldsymbol{\Lambda}\mathbf{x}_i - 2 \boldsymbol{\mu}^T \boldsymbol{\Lambda}\mathbf{x}_i + \boldsymbol{\mu}^T\boldsymbol{\Lambda}\boldsymbol{\mu}\right) \right)} \end{align} 以前の通常： N(μ|(μ0,κ0Λ)−1)∝|Λ|1/2exp(−12(μTκ0Λμ−2μTκ0Λμ0+μT0κ0Λμ0))N(μ|(μ0,κ0Λ)−1)∝|Λ|1/2exp⁡(−12(μTκ0Λμ−2μTκ0Λμ0+μ0Tκ0Λμ0))\begin{align} \mathcal{N}(\boldsymbol{\mu} &| (\boldsymbol{\mu}_0, \kappa_0 \boldsymbol{\Lambda})^{-1}) \propto\notag\\ &|\boldsymbol{\Lambda}|^{1/2} \exp{\left(-\frac{1}{2}\left( \boldsymbol{\mu}^T\kappa_0 \boldsymbol{\Lambda}\boldsymbol{\mu} - …

11 bayesian  posterior 

私は最尤推定と最大事後推定について読んでいますが、これまでは、最尤推定でのみ具体的な例に出会いました。私は最大の事後推定のいくつかの抽象的な例を見つけましたが、それに数値を付けた具体的なものはまだありません：S それは非常に圧倒的で、抽象的な変数と関数でのみ機能し、この抽象性に溺れないようにするために、物事を時々現実の世界に関連付けるのは素晴らしいことです。しかし、もちろん、これは私の（そして他の人々の）観察にすぎません:) したがって、数字が記載された最大の事後推定の簡単で具体的な例を誰かに教えてもらえますか？それはとても役に立ちます:) ありがとうございました！ 私は最初にこの質問をMSEに投稿しましたが、そこで回答を得ることができませんでした： /math/449386/example-of-maximum-a-posteriori-estimation 私はここにクロスポストで与えられた指示に従いました： http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

11 bayesian  estimation  posterior 

私の実際の質問は最後の2つの段落にありますが、それらに動機を与えるために： 既知の分散を持つ正規分布に従う確率変数の平均を推定しようとしている場合、平均に前に一様を置くと、尤度関数に比例する事後分布が得られることを読みました。これらの状況では、ベイジアン信頼区間は頻出信頼区間と完全に重なり、ベイジアン最大事後推定値は頻出最大尤度推定値と等しくなります。 単純な線形回帰設定では、 Y=Xβ+ϵ,ϵ∼N(0,σ2)Y=Xβ+ϵ,ϵ∼N(0,σ2)Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2) 上に均一な前入れと逆ガンマ前にσ 2後部の小さいパラメータ値の結果とβ M A P frequentistに非常に類似してβ M L E、及び事後配布のための信頼区間をβ | Xは、最尤推定値の周囲の信頼区間に非常に似ています。彼らはまったく同じではありませんので、上の前σ 2ββ\betaσ2σ2\sigma^2β^MAPβ^MAP\hat\beta^{MAP}β^MLEβ^MLE\hat\beta^{MLE}β|Xβ|X\beta|Xσ2σ2\sigma^2事後推定は矛盾の別のソースをご紹介しますMCMCシミュレーションを介して行われますが、周りのベイズの信頼区間あれば影響の少量を発揮し、β M A Pと周りfrequentist信頼区間β M L Eはなります互いにかなり近く、そしてもちろん、サンプルサイズが増加するにつれて、可能性の影響が前のもののそれを支配するように成長するにつれて、それらは収束するはずです。β^MAPβ^MAP\hat\beta^{MAP}β^MLEβ^MLE\hat\beta^{MLE} しかし、これらの同等性が成り立たない退行状況もあると私は読んだ。たとえば、変量効果のある階層回帰、またはロジスティック回帰-これらは、私が理解しているように、「良い」目的または参照の事前分布がない状況です。 だから私の一般的な質問はこれです-私がについて推論したいと仮定しますP(β|X)P(β|X)P(\beta|X)組み込む必要のある事前情報がないため、これらの状況で頻出の最尤推定を続行し、結果の係数推定と標準誤差をベイジアンMAP推定と標準偏差として解釈して、これらを暗黙的に処理できないのはなぜですか？そのような事後につながるだろう事前の明確な定式化を見つけることを試みることなしに「有益ではない」に違いない事前からの「事後」推定は？一般に、回帰分析の領域では、これらの線に沿って（事後のように可能性を処理することで）続行しても問題ないのはいつですか。準尤度法など、尤度ベースではない頻出法についてはどうでしょうか。 答えは、推論の対象が係数点の推定であるか、係数が特定の範囲内にある確率であるか、または予測分布の量であるかによって異なりますか？

11 bayesian  maximum-likelihood  posterior  frequentist 

ベイジアン線形回帰の事後予測分布を、3ページのここで説明した基本的なケースを超えて評価し、以下にコピーする方法に混乱しています。 p （y〜∣ y）= ∫p （y〜| β、σ2）p （β、σ2∣ y）p(y~∣y)=∫p(y~∣β,σ2)p(β,σ2∣y) p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y) 基本的なケースは次の線形回帰モデルです。 y= Xβ+ ϵ 、y〜N（Xβ、σ2）y=Xβ+ϵ,y∼N(Xβ,σ2) y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \sigma^2) で均一な事前分布、でscale-Inv事前分布、または正規逆ガンマ事前分布（ここを参照）を使用する場合、事後予測分布は分析的であり、学生tです。 χ 2 σ 2ββ\betaχ2χ2\chi^2σ2σ2\sigma^2 このモデルについてはどうですか？ y= Xβ+ ϵ …

10 regression  bayesian  predictive-models  prediction  posterior 

stan（特にrstan）には、予測事後分布を生成する組み込みの機能がありますか？ スタンフィットから分布を生成することは難しくありませんが、ホイールを再発明したくありません。

9 bayesian  posterior  stan 

パラメータの事前分布が均一である二項分布があるとします。パラメータの事後分布を取得するにはどうすればよいですか？

9 bayesian  posterior 

MAPでパラメーターを推定するとき、「モード」を推定すると書かれているのはなぜですか？事後分布の平均だと思いました？

9 bayesian  posterior  bayes 

Metropolis-Hastingsサンプラーが非常に不規則にパラメーター空間を移動する可能性が非常に低い可能性があります。つまり、提案分布のパラメーター（私の場合はガウス分布）に関係なく、収束は達成できません。私のモデルにはそれほど複雑ではありません-2つのパラメーターだけですが、MHはこのタスクを処理できないようです。それで、この問題の周りに何かトリックがありますか？非常に遠く後部テールに移動するマルコフチェーンを生成しないサンプラーはありますか？ 問題の更新： 詳細を示して質問を再定式化しようとします。まず、モデルについて説明します。 2つのノードを持つグラフィカルモデルがあります。各ノードは、次のように自動ポアソンモデル（Besag、1974）によって制御されます または、2つのノードしかなく、等しいグローバル強度を想定しているため： P （X 1 | X 2 = X 2、θ 、α ）〜P O I Sp(Xj|Xk=xk,∀k≠j,Θ)∼Poisson(eθj+∑j≠kθkjxk)p(Xj|Xk=xk,∀k≠j,Θ)∼Poisson(eθj+∑j≠kθkjxk)p\left ( X_{j} |X_{k}=x_{k},\forall k\neq j,\Theta \right )\sim Poisson\left ( e^{\theta _{j}+\sum _{j\neq k}\theta _{kj}x_{k}} \right )、P （X 2 | X 1 = X 1、θ 、α ）〜P 、O 、I 、S 、S 、O …

9 mcmc  likelihood  posterior 

何かをシミュレートする方法を理解することは、多くの場合、基本的な原理を理解するための最良の方法です。以下を正確にシミュレートする方法について、私は少し途方に暮れています。 仮定するとそのである事前分布有し。観測値サンプルに基づいて、単にと省略し、事後確率であることを非ベイジアンに示しは適切に調整されています。たとえば、Probここで、は事後確率です。関連ディスカッションはこちらμ N （γ 、τ 2）nはY 1、... 、Y N Y μ &gt; 0 | Y （μ &gt; 0 | P ）= P PY∼N(μ,σ2)Y∼N(μ,σ2)Y \sim N(\mu, \sigma^{2})μμ\muN(γ,τ2)N(γ,τ2)N(\gamma, \tau^{2})nnnY1,…,YnY1,…,YnY_{1}, \dots, Y_{n}YYYμ&gt;0|Yμ&gt;0|Y\mu > 0 | Y(μ&gt;0|P)=P(μ&gt;0|P)=P(\mu > 0 | P) = PPPP 私が本当に示したいのは、事後確率が0.95などのレベルを超えたときに連続テストを行ってサンプリングを停止した場合、確率がはないということです。&lt; 0.95μ&gt;0μ&gt;0\mu > 0&lt;0.95&lt;0.95< 0.95 私は、タイプ1のエラーについての議論に踏み込むことなく、ベイジアン確率が意味があることを常連論者に説得しようとしています。帰無仮説を楽しませる常連客と話をするときに哲学上の問題があると思います。事前分布が（上記のように）連続である場合、ある確率はゼロであり、シミュレーションは不要です。問題全体をどのように考え、デモンストレーションシミュレーションを設計する方法についていくつかの提案をいただければ幸いです。私は、が1つの定数に設定されているだけで、なシミュレーションを行うことに慣れています。ベイジアンは条件付けません。μ μμ=0μ=0\mu = 0μμ\muμμ\mu 順次の状況では、可能な最大サンプルサイズを設定します（例：。n=1000n=1000n=1000 私がいつも考えるのに苦労している問題には微妙な問題があります。プロセスが実際にまったく効果がない（）場合、本当の懐疑論者は、有効性の誤った主張（）を心配することがあります。微妙なのは、懐疑論者が特別な値としてゼロを「単一化」していることであり、おそらくイベント（？）にゼロ以外の確率を与えています。事後者が調整されていることを示す方法では、懐疑者は実際に条件付けを行いたいと考えているため、ベイジアンとしては何がわかっているかでのみ条件付けを行うため、このような懐疑者を満足させることはできません。おそらくこれは、統計家が使用している事前分布が、懐疑論者が使用している不連続な事前分布と矛盾する場合でしょうか？μ …

8 bayesian  simulation  posterior