タグ付けされた質問 「bayesian」

1時間にイベントが発生する頻度（「1時間あたりの数」、nph）とイベントが持続する時間（「1秒あたりの秒数」、dph）を説明するデータがあります。 これは元のデータです： nph <- c(2.50000000003638, 3.78947368414551, 1.51456310682008, 5.84686774940732, 4.58823529414907, 5.59999999993481, 5.06666666666667, 11.6470588233699, 1.99999999998209, NA, 4.46153846149851, 18, 1.05882352939726, 9.21739130425452, 27.8399999994814, 15.3750000002237, NA, 6.00000000004109, 9.71428571436649, 12.4848484848485, 16.5034965037115, 20.6666666666667, 3.49999999997453, 4.65882352938624, 4.74999999996544, 3.99999999994522, 2.8, 14.2285714286188, 11.0000000000915, NA, 2.66666666666667, 3.76470588230138, 4.70588235287673, 13.2727272728677, 2.0000000000137, 18.4444444444444, 17.5555555555556, 14.2222222222222, 2.00000000001663, 4, 8.46153846146269, 19.2000000001788, 13.9024390245481, 13, 3.00000000004366, NA, …

8 normal-distribution  data-transformation  logistic  generalized-linear-model  ridge-regression  t-test  wilcoxon-signed-rank  paired-data  naive-bayes  distributions  logistic  goodness-of-fit  time-series  eviews  ecm  panel-data  reliability  psychometrics  validity  cronbachs-alpha  self-study  random-variable  expected-value  median  regression  self-study  multiple-regression  linear-model  forecasting  prediction-interval  normal-distribution  excel  bayesian  multivariate-analysis  modeling  predictive-models  canonical-correlation  rbm  time-series  machine-learning  neural-networks  fishers-exact  factorisation-theorem  svm  prediction  linear  reinforcement-learning  cdf  probability-inequalities  ecdf  time-series  kalman-filter  state-space-models  dynamic-regression  index-decomposition  sampling  stratification  cluster-sample  survey-sampling  distributions  maximum-likelihood  gamma-distribution 

私はEMを理解し、この手法を使用してこのモデルのパラメーターを推測しようとしていますが、開始方法を理解するのに問題があります。 したがって、観測値と対応する観測値がある次のような重み付き線形回帰モデルがあります。と関係のモデルは加重線形回帰モデルであり、分布の仮定は次のとおりです。Y = （Y 1、Y 2。。。。Y N）X Yバツ= （x私、x2。。。。バツん）X=(xi,x2....xn)X = (x_i, x_2....x_n)Y= （y1、y2。。。。yん）Y=(y1,y2....yn)Y = (y_1, y_2....y_n)バツXXYYY β〜N（0、Σのβ）WI〜G（、B）y私〜N（βTバツ私、σ2w私）yi∼N(βTxi,σ2wi) y_i \sim \mathcal{N}(\beta^Tx_i, \frac{\sigma^2}{w_i}) β〜N（0 、Σβ）β∼N(0,Σβ) \beta \sim \mathcal{N}(0, \Sigma_\beta) w私〜G（a 、b ）wi∼G(a,b) w_i \sim \mathcal{G}(a, b) ここでは回帰パラメーターであり、モデルは応答変数に分散に個別の重みを持たせることにより、不均一な分散を可能にします。私の目標は、パラメータによって与えられる最も可能性の高い線形関係を見つけることです。βββ\betaββ\beta したがって、次のようにlog-posteriorを書き込むことができます。 ログP（Y、β、w | バツ）= ∑i = 1ん（ログP（ y私|バツ私、β、w私） + ログP（ w私）） + l o gP（β）log⁡P(Y,β,w|X)=∑i=1n(log⁡P(yi|xi,β,wi)+log⁡P(wi))+logP(β) …

8 bayesian  expectation-maximization 

共役事前分布の混合について質問があります。ベイジアンを学習しているときに、共役事前分布の混合を数回学び、言いました。この定理がなぜそれほど重要であるのか、ベイジアン分析を行うときにどのようにそれを適用するのでしょうか。 具体的には、Diaconis and Ylivisaker 1985の定理の1つが次のように定理を示しています。 指数ファミリーからのサンプリングモデル与えられると、事前分布は共役事前分布の有限混合によって近似できます。p （y|θ ）p（y|θ）p(y|\theta) より具体的には、事前の与えられると、事後を導出できます：p （θ）= ∫p （θ | ω ）p （ ω ）dωp（θ）=∫p（θ|ω）p（ω）dωp(\theta)=\int p(\theta|\omega)p(\omega)d\omega p （θ | Y）α ∫p （Y| θ）p（θ | ω）p（ω）dω α ∫p （Y| θ）p（θ | ω）p （Y| ω）p （Y| ω）p（ω)dω∝∫p （θ |Y、ω ）p （Y| ω）p（ω)dωp(θ|Y）α∫p（Y|θ）p（θ|ω）p（ω）dωα∫p（Y|θ）p（θ|ω）p（Y|ω）p（Y|ω）p（ω）dωα∫p（θ|Y、ω）p（Y|ω）p（ω）dωp(\theta|Y)\propto\int p(Y|\theta)p(\theta|\omega)p(\omega)d\omega\propto\int \frac{p(Y|\theta)p(\theta|\omega)}{p(Y|\omega)}p(Y|\omega)p(\omega)d\omega\propto \int p(\theta|Y, \omega)p(Y|\omega)p(\omega)d\omega したがって、 p …

8 bayesian  conditional-probability  hierarchical-bayesian  conjugate-prior  exponential-family 

通常、ベイジアン統計の事前分布は、確率密度の低い解を不利にするため、正則化要因と見なすことができると言われています。 次に、MLEパラメータが次のようなこの単純なモデルが与えられた場合： argmaxμ N(y;μ,σ)argmaxμ N(y;μ,σ) argmax_{\mu} \text{ } \mathcal{N}(y; \mu, \sigma) そして、私は前のものを追加します： パラメータはMLEパラメータではありませんしかし、MAPパラメータ。argmaxμ N(y;μ,σ)N(μ;0,σ0)argmaxμ N(y;μ,σ)N(μ;0,σ0) argmax_{\mu} \text{ } \mathcal{N}(y; \mu, \sigma) \mathcal{N}(\mu; 0, \sigma_0) 質問：これは、モデルにいくつかの正則化を導入した場合、ベイズ分析を行っていることを意味しますか（点推定のみを使用している場合でも）？ または、MLEまたはMAPを見つける方法が同じであるため、この時点でこの「存在論的」な区別をしても意味がありません（そうではありませんか？）？

8 bayesian  regularization  frequentist  philosophical 

私はベイジアン統計に比較的新しいので、穏やかにしてください。 マルチパラメータモデルの推論のために、近似ベイズ計算（ABC）を実行しました。現在、推論されたパラメーターに対して事後予測チェックを実行しようとしています。 私が知りたいのは、事後予測チェックの要約統計を生成するために事後からサンプリングするとき、各パラメーターの周辺事後から独立してサンプリングするか、またはパラメーター値を一緒にサンプリングすることになっている（つまり、サンプル受け入れられた要約統計量をもたらした正確なパラメーターの組み合わせから）。 モデルには多くのパラメーター（6を超える）が含まれており、各パラメーターの限界後任に興味があります。この質問が理にかなっているといいのですが。

8 bayesian  posterior  abc 

偏見が受け入れられない場合（法廷など）には、情報のない事前情報が優先されます。 しかし、私は、常連主義のアプローチを使用するのが理にかなっているように思えます。なぜベイズのアプローチは非情報的な先行を持っているのですか？ ありがとう！

8 bayesian  prior  uninformative-prior 

対数正規分布の尤度関数は次のとおりです。 f（x ; μ 、σ）∝ ∏ん私11σバツ私exp（ − （lnバツ私- μ ）22つのσ2）f（バツ;μ、σ）αΠ私1ん1σバツ私exp⁡（−（ln⁡バツ私−μ）22σ2）f(x; \mu, \sigma) \propto \prod_{i_1}^n \frac{1}{\sigma x_i} \exp \left ( - \frac{(\ln{x_i} - \mu)^2}{2 \sigma^2} \right ) ジェフリーズの事前は次のとおりです。 p （μ 、σ）∝ 1σ2p（μ、σ）α1σ2p(\mu,\sigma) \propto \frac{1}{\sigma^2} したがって、2つを組み合わせると次のようになります。 f（μ 、σ2| x）= ∏ん私11σバツ私exp（ − （lnバツ私- μ ）22つのσ2） ⋅ σ− 2f（μ、σ2|バツ）=Π私1ん1σバツ私exp⁡（−（ln⁡バツ私−μ）22σ2）⋅σ−2f(\mu,\sigma^2|x)= \prod_{i_1}^n \frac{1}{\sigma x_i} \exp \left …

8 bayesian  prior  posterior  conjugate-prior  uninformative-prior 

私は、ベイズは人口規模推定達成するためのモデル持っているNNNと検出の確率θθ\thetaのみ観測されたオブジェクトの観測された数に基づいて、二項分布でのyyy： p(N,θ|y)∝Bin(y|N,θ)Np(N,θ|y)∝Bin(y|N,θ)N p(N,\theta|y)\propto \frac{ \text{Bin}(y|N,\theta)}{N} のために {N|N∈Z∧N≥max(y)}×(0,1){N|N∈Z∧N≥max(y)}×(0,1) \left\{N|N\in\mathbb{Z}\land N\ge \max(y)\right\}\times(0,1) 。簡単にするために、NNNは各y_iに対して同じ未知の値に固定されていると仮定しyiyiy_iます。この例では、y=53,57,66,67,73y=53,57,66,67,73y=53,57,66,67,73です。 このモデルをで推定するrstanと、事後のグリッド近似から得られた結果とは異なります。理由を突き止めようとしています。（興味を持った読者は、この質問は、後続の私の答えにあることを見つけるかもしれないここに。） rstan 近似 参考までに、これはrstanコードです。 raftery.model <- " data{ int I; int y[I]; } parameters{ real<lower=max(y)> N; simplex[2] theta; } transformed parameters{ } model{ vector[I] Pr_y; for(i in 1:I){ Pr_y[i] <- binomial_coefficient_log(N, y[i]) +multiply_log(y[i], theta[1]) +multiply_log((N-y[i]), theta[2]); } increment_log_prob(sum(Pr_y)); increment_log_prob(-log(N)); …

8 bayesian  mcmc  hierarchical-bayesian  stan 

違いを理解しようとしています 帰無仮説のテスト（つまり、Rのprop.testと同様に、「目標」の確率が2つの異なる母集団で同じであることのテスト） ここで説明されているようなベイジアン式を使用したA / Bテスト：http : //www.evanmiller.org/bayesian-ab-testing.html 違いはありますか？どちらが望ましいですか？ 私が直面している問題は次のようなものです： コントロールグループには100,000インプレッション、100リアクションテストグループには50,000インプレッションと55リアクション

8 hypothesis-testing  bayesian  proportion  ab-test 

さまざまなソースのデータを組み合わせたい。 化学的性質（例えば分配係数）を推定したいとしましょう： いくつかの経験的データがありますが、平均値周辺の測定誤差により変動します。 次に、他の情報から推定値を予測するモデルがあります（モデルには不確実性もあります）。 これら2つのデータセットを組み合わせるにはどうすればよいですか？[結合された推定値は、別のモデルで予測子として使用されます]。 メタ分析とベイズ法が適しているようです。しかし、それを実装する方法やアイディアはあまり見つかりませんでした（私はRを使用していますが、PythonとC ++にも精通しています）。 ありがとう。 更新 わかりました、これはより現実的な例です： 化学物質の毒性を推定するために（通常、 =動物の50％が死亡する濃度）ラボ実験を行います。幸いにも、実験の結果はデー​​タベース（EPA）に収集されます。LC50LC50LC_{50} 殺虫剤Lindaneの値をいくつか示します。 ### Toxicity of Lindane in ug/L epa <- c(850 ,6300 ,6500 ,8000, 1990 ,516, 6442 ,1870, 1870, 2000 ,250 ,62000, 2600,1000,485,1190,1790,390,1790,750000,1000,800 ) hist(log10(epa)) # or in mol / L # molecular weight of Lindane mw = 290.83 …

8 r  bayesian  meta-analysis  jags 

Kevin Murphyの本は、古典的な階層ベイズ問題（元はで説明Johnson and Albert, 1999, p24）について説明しています。 都市のがん発生率を推定しようとしているとします。各都市では、個体数をサンプリングN Iとがん患者の数を測定xはI〜ビン（N I、θ I）、θ iは、市内の真の癌率です。NNNN私NiN_iバツ私〜ビン（N私、θ私）xi∼Bin(Ni,θi)x_i \sim \text{Bin}(N_i, \theta_i)θ私θi\theta_i 我々は推定したいデータの乏しい都市はデータが豊富な都市から統計的強度を借りて可能にしながらのを。θ私θi\theta_i そのためには、彼のモデルは、以下のように、最終的なモデルが見えるので、すべての都市が同じ前を共有するように：θ私〜ベータ（a 、b ）θi∼Beta(a,b)\theta_i \sim \text{Beta}(a,b) p （D、θ 、η| N）= p （η）∏i = 1Nビン（x私| N私、θ私）ベータ（θ私| η）p(D,θ,η|N)=p(η)∏i=1NBin(xi|Ni,θi)Beta(θi|η)p(\mathcal{D}, \theta, \eta|N)=p(\eta)\prod\limits^N_{i=1}\text{Bin}(x_i|N_i, \theta_i)\text{Beta}(\theta_i|\eta) ここで、です。η=(a,b)η=(a,b)\eta = (a,b) このモデルについての重要な部分はもちろんである（I引用）、「その我々推論私たちは定数にそれをクランプした場合、以降、データからθが、私は条件付きで独立していること、そしてそこに意志ますそれらの間の情報の流れはありません。」η=(a,b)η=(a,b)\eta=(a,b)θiθi\theta_i 私はこれをモデル化しようとしていますPyMC、しかし限り、私は理解して、私はのための先行必要とB（私はこれがあると信じていたp （η ）上記）。このモデルの前に何が良いでしょうか？aaabbbp(η)p(η)p(\eta) それが役立つ場合、私が今持っているコードは次のとおりです： bins = dict() ps = dict() for i in …

8 bayesian  hierarchical-bayesian  pymc  probabilistic-programming 

ベイズ確率理論が信念を表すための唯一の有効な方法であるという証拠を覚えています。 私たちは、結果のいくつかの領域にわたって、いくつかの非負の機能によって信念を表します 信念は相加的です ... したがって、ベイズ確率理論は信念を表すための唯一の有効なアプローチです。 考えは、「信念関数」を構成するものについての非常に基本的で一般的な仮定の下では、ベイズ確率で「信念」をモデル化することになるということです。 どこで見たか忘れました。 誰かがこの証拠を知っていますか？またはオリジナルへの参照？ 編集 これまでのところ、私が見つけた最高のリードは、次の場所にあることです。 サベージ、LJ（1954）。Foundation of Statistics、2nd edn、Dover、ニューヨーク。 （私はそれのコピーを持っていません）

8 bayesian  decision-theory 

でベイジアンデータ解析は、第13章、ページ317、第二の完全な段落、モーダルおよび分布近似で、ゲルマンら。書く： 計画が [2変量正規分布の相関パラメーター] の事後モードによって推論を要約する場合、U（-1,1）事前分布を 、これは変換されたパラメーター Beta（2,2）と同等です。事前および結果の密度は境界でゼロであるため、事後モードは-1または1になることはありません。ただし、事前密度は境界付近で線形であるため、可能性と矛盾しません。ρρ\rhoP （ρ ）α （1 - ρ ）（1 + ρ ）p（ρ）α（1−ρ）（1+ρ）p(\rho) \propto (1 - \rho)(1 + \rho)ρ + 12ρ+12\frac{\rho + 1}{2}ρρ\rho 以下は、Beta（2,2）分布のPDFのプロットです。 プロットはドメイン[0,1]について示されていますが、形状は上記の引用で説明した変換の逆を実行することによって得られたドメイン[-1,1]と同じです。これはかなり有益なディストリビューションです！には、約7倍の密度がます。したがって、実際には、可能性が境界から遠いものを指している場合は、可能性と矛盾しますが、からはさらに遠ざかり。以前のベータ（1 +、1 +）を回避するより良い境界はありません。ここで、です。たとえば、下にプロットされているBeta（1.0001、1.0001）を考えてみます。ρ + 12= 0.5ρ+12=0.5\frac{\rho + 1}{2} = 0.5ρ + 12= 0.3 、0.97ρ+12=0.3、0.97\frac{\rho + 1}{2} = 0.3,0.97ρ = 0ρ=0\rho = 0δδ\deltaδδ\deltaδ→ 0δ→0\delta \rightarrow …

8 bayesian  prior  posterior  mode 

私たちが選択した事前分布が非共役である場合、事後密度の積分が「分析的に扱いにくい」とは言えない理由を誰かが説明できますか？

8 bayesian 

私の全体的な質問は次のとおりです。なぜbayesglm他の分類方法の代わりに使用するのですか？ 注意： 私は予測だけに興味があります。 私はまともな量のデータを持っています（〜100,000 obs）。 サンプルサイズは、通常のロジスティック回帰のパラメーターが正規分布（CLT）になるのに十分な大きさだと思います。事前情報を指定すると何が得られますか？私の直感は、それが小さなデータセットに対してのみ問題になるということですが、私には理論的または適用された証拠はありません。

8 bayesian  generalized-linear-model