タグ付けされた質問 「bayesian」

ベイズ推定は、モデルパラメータを確率変数として扱い、ベイズの定理を適用して、観測されたデータセットを条件とするパラメータまたは仮説に関する主観的な確率ステートメントを推定することに依存する統計的推定の方法です。

1
隠れマルコフモデルで「最適な」モデルを選択するための基準
データの潜在状態の数を推定するために、隠れマルコフモデル(HMM)を近似しようとする時系列データセットがあります。これを行うための私の擬似コードは次のとおりです。 for( i in 2 : max_number_of_states ){ ... calculate HMM with i states ... optimal_number_of_states = "model with smallest BIC" ... } さて、通常の回帰モデルでは、BICは最もpar約的なモデルを好む傾向がありますが、HMMの場合、それが何をしているのかわかりません。BIC基準がどのようなHMMの傾向があるのか​​を実際に知っている人はいますか?また、AICと尤度値も取得できます。州の真の総数を推測しようとしているので、これらの基準の1つは、この目的のために他の基準よりも「優れている」のでしょうか。

1
pymcを使用したベイジアンネットワーク推論(初心者の混乱)
現在、コースラでダフネ・コラーのPGMコースを受講しています。その点で、一般にベイジアンネットワークを、観測データの一部である変数の原因と結果の有向グラフとしてモデル化します。しかし、PyMCのチュートリアルと例では、PGMまたは少なくとも私が混乱しているのと同じようにモデル化されていないことが一般的にわかります。PyMCでは、観測された実世界変数の親は、多くの場合、変数のモデル化に使用する分布のパラメーターです。 今、私の質問は本当に実用的なものです。データが観測される3つの変数(A、B、C)があると仮定します(これらはすべて、それのためにすべて連続変数であると仮定します)。ある分野の知識から、AとBがCを引き起こすと言うことができます。したがって、ここにはBNがあります-A、Bは親であり、Cは子です。BN方程式からP(A、B、C)= P(C | A、B)* P(A)* P(B) AとBはmuとsigmaを含む正規分布であると言えますが、P(C | A、B)をモデル化するにはどうすればよいですか?私が学びたい一般的な考え方は、BNを照会できるように、PyMCを使用してこのBNをどのように学習するかです。または、何らかの方法でモデルのパラメーターを使用してBNを増強する必要がありますか? この問題はpymcを使用して解決できますか?または、いくつかの基本的な間違いがありましたか? 助けていただければ幸いです!

1
階層型ベイジアンモデルと経験的ベイズ
HBM対EBは、ハイパーパラメーターがサンプリング/推定/などの「ゲーム内」にある2つの選択肢であると考えますか?これら2つの間に明確な関係があります。 HBMはEBよりも「完全にベイジアン」だと思いますか?「完全にベイジアン」であることと他の選択肢との違いを理解できる場所はありますか? ありがとう。

5
ベイジアンは、彼らのアプローチが一般化/頻繁なアプローチと重複するケースがあると主張しますか?
ベイジアンは、彼らのアプローチが頻繁なアプローチを一般化すると主張することがあります。なぜなら、情報のない事前分布を使用できるため、典型的な頻繁なモデル構造を回復できるからです。 この議論が実際に使用されている場合、誰かが私にこの議論について読むことができる場所を紹介してもらえますか? 編集:この質問は、おそらく私がそれを言い表すつもりではなかった言い回しです。問題は、「ベイジアンアプローチと頻度主義的アプローチが重なり合う/交差する/特定の事前分布を使用して共通するものがある場合の議論への参照があるかどうか」です。1つの例は、不適切な事前を使用することですが、これは氷山の一角にすぎないと確信しています。p(θ)=1p(θ)=1p(\theta) = 1

6
を最大化する点推定を使用する場合、それはあなたの哲学について何と言っていますか?(フリークエンシーまたはベイジアンまたは他の何か?)
誰かが言ったら 「この方法は、を最大化するパラメーターのポイント推定MLEを使用するため、頻度が高く、さらにベイジアンではありません。」P(x|θ)P(x|θ)\mathrm{P}(x|\theta) 同意しますか? 背景に関する最新情報:最近、頻繁に投稿されると主張する論文を読みました。私は彼らの主張に同意しない、せいぜい曖昧だと思う。この論文では、MLE(またはMAP)について明示的に言及していません。彼らは単にポイントの推定値を取得し、このポイントの推定値が真であるかのように単純に進みます。彼らはしますませんこの推定量のサンプリング分布、またはそのような何かの分析を行います。モデルは非常に複雑であるため、このような分析はおそらく不可能です。いずれの時点でも「後」という言葉は使用していません。彼らは、額面価格でこのポイント推定値を取得し、関心のある主要トピックである欠落データの推測に進みます。彼らの哲学には何があるかを示唆するアプローチは彼らのアプローチにはないと思います。彼らは頻繁になりたいと思っていたかもしれませんが(袖に哲学をつける義務があると感じているため)、実際のアプローチは非常に単純/便利/怠/で曖昧です。私は今、この研究にはその背後にある哲学は何もないと言う傾向があります。代わりに、彼らの態度はより実用的または便利だったと思う: 「データを観測し、欠落データzを推定したい。zとxの関係を制御するパラメーターθがあります。目的を達成するための手段を除き、θはあまり気にしません。私はのために見積もり持っθ、それはそれが簡単に予測することになりますZをからのxを、私はの点推定値を選択します。θを、それは便利ですので、特に私が選ぶだろう、θ最大P(X | θを)。」xxxzzzθθ\thetazzzxxxθθ\thetaθθ\thetazzzxxxθθ\thetaθ^θ^\hat{\theta}P(x|θ)P(x|θ)\mathrm{P}(x|\theta) 不偏推定量 のアイデア明らかにFrequentist概念です。これは、データを条件とせず、パラメーターのすべての値を保持する素晴らしいプロパティ(不偏)を記述するためです。 ベイジアン手法では、データとパラメーターの役割は逆になります。特に、現在、観測されたデータを条件として、パラメーターの値について推論を進めています。これには事前の準備が必要です。 これまでのところこれでいいのですが、MLE(Maximum Likelihood Estimate)がこれに適合するのはどこですか?私は、多くの人がそれが周波数主義者である(またはより正確には、ベイジアンではない)と感じているという印象を受けます。しかし、観測データを取得し、を最大化するパラメーターを見つけることを含むため、ベイジアンであると感じています。MLEは暗黙的に均一な事前使用とデータの条件付けを使用し、P (p a r a m e t eP(data|parameter)P(data|parameter)P(data | parameter)。MLEがフリークエンティストとベイジアンの両方に見えると言ってもいいですか?または、すべての単純なツールは、これら2つのカテゴリのいずれかに正確に該当する必要がありますか?P(parameter|data)P(parameter|data)P(parameter | data) MLEは一貫していますていますが、一貫性はベイジアンのアイデアとして提示できると思います。任意の大きなサンプルが与えられると、推定値は正解に収束します。「推定値は真の値に等しい」というステートメントは、パラメーターのすべての値に当てはまります。興味深いのは、観測されたデータを条件にしてベイジアンにする場合にも、このステートメントが当てはまることです。この興味深いことは、MLEには当てはまりますが、公平な推定量には当てはまりません。 これが、MLEが周波数主義者として記述される可能性のあるメソッドの「最もベイジアン」であると感じる理由です。 とにかく、有限のサンプルサイズを含む、ほとんどのフリークエンティストの特性(不偏性など)はすべての場合に適用されます。一貫性が不可能なシナリオ(1つの実験内の無限のサンプル)でのみ成立するという事実は、一貫性がそのような有用な特性ではないことを示唆しています。 現実的な(つまり有限の)サンプルが与えられた場合、MLEに当てはまるFrequentistプロパティはありますか?そうでない場合、MLEは実際にはフリークエンティストではありません。

1
経験的ベイズとランダム効果の間には関係がありますか?
私は最近、経験的ベイズについて偶然読んで(Casella、1985、経験的ベイズデータ分析の紹介)、ランダム効果モデルによく似ていました。両方ともグローバル平均に縮小した推定値を持っているという点で。しかし、私はそれを完全に読んでいません... 誰もがそれらの類似点と相違点について何か洞察を持っていますか?

1
情報のない事前分布のポイントは何ですか?
なぜ情報量の少ない事前分布があるのでしょうか?に関する情報は提供しません。なぜそれらを使用するのですか?なぜ有益な事前分布を使用しないのですか?例えば、仮定θ ∈ [ 0 、1 ]。そして、あるθ 〜U(0 、1 )のための無情報事前θ?θθ\thetaθ∈[0,1]θ∈[0,1] \theta \in [0,1]θ∼U(0,1)θ∼U(0,1)\theta \sim \mathcal{U}(0,1)θθ\theta

2
ブートストラップとベイジアン手法を使用する場合
信頼性テストを含むかなり複雑な意思決定分析の問題があり、論理的なアプローチ(私にとって)は、MCMCを使用してベイジアン分析をサポートすることを含むようです。ただし、ブートストラップアプローチを使用する方が適切であることが示唆されています。誰かが他の技術よりもどちらかの技術の使用をサポートする可能性のあるリファレンス(または3つ)を提案できますか(特定の状況でも)。FWIW、私は複数の異なるソースからのデータと故障の少ない/ゼロの観測値を持っています。また、サブシステムレベルとシステムレベルのデータもあります。 このような比較が利用できるはずですが、私は通常の容疑者を検索する運がありませんでした。ポインタを事前に感謝します。

2
階層ベイジアンモデル(?)
統計用語の虐殺について謝罪してください:)ここで、広告とクリックスルー率に関連するいくつかの質問を見つけました。しかし、それらのどれも私の階層的状況の私の理解で私をあまり助けませんでした。 関連する質問があります。これらの同等の表現は、同じ階層型ベイジアンモデルですか?、しかし、実際に同様の問題があるかどうかはわかりません。別の質問階層ベイジアン二項モデルの事前分布事前は、ハイパープライアについて詳しく説明しますが、それらの解を自分の問題にマッピングすることはできません 新製品のオンライン広告がいくつかあります。広告を数日間掲載しました。その時点で、広告をクリックして十分な人がクリックを獲得している広告を確認しました。クリック数が最も多いものを除いてすべてを追い出した後、広告をクリックしてから実際にどのくらいの人が購入したかを確認するために、さらに数日間実行します。その時点で、そもそも広告を掲載するのが良いアイデアであったかどうかがわかります。 私は毎日数個のアイテムしか売っていないので、私は多くのデータを持っていないので、私の統計はとてもうるさいです。したがって、広告を見た後に何人の人が何かを購入するかを推定することは本当に困難です。150回のクリックごとに約1つだけが購入につながります。 一般的に言って、広告グループごとの統計をすべての広告のグローバル統計で何らかの方法で平滑化することにより、各広告でできるだけ早くお金を失うかどうかを知る必要があります。 すべての広告が十分な購入数に達するまで待つと、時間がかかりすぎるため、壊れてしまいます。10個の広告をテストするため、各広告の統計情報が十分に信頼できるように10倍のお金を費やす必要があります。その時までに私はお金を失ったかもしれません。 すべての広告を平均して購入すると、うまく機能していない広告を追い出すことはできません。 グローバル購入率( N $サブ分布を使用できますか?つまり、各広告のデータが多いほど、その広告の統計情報はより独立したものになります。まだ誰も広告をクリックしていない場合、世界平均が適切であると思います。perclick)anduseitasapriorforperclick)anduseitasapriorfor per click) and use it as a prior for そのためにどのディストリビューションを選択しますか? Aで20回、Bで4回クリックした場合、どのようにモデル化できますか?ここまでで、二項分布またはポアソン分布がここで意味をなすかもしれないことがわかりました。 purchase_rate ~ poisson (?) (purchase_rate | group A) ~ poisson (グループAのみの購入率を推定しますか?) しかし、実際にを計算するには、次に何をしますかpurchase_rate | group A。グループA(または他のグループ)にとって意味のある2つのディストリビューションをプラグインするにはどうすればよいですか。 最初にモデルを適合させる必要がありますか?モデルを「トレーニング」するために使用できるデータがあります。 広告A:352回のクリック、5回の購入 広告B:15回のクリック、0回の購入 広告C:3519回のクリック、130回の購入 いずれかのグループの確率を推定する方法を探しています。グループに含まれるデータポイントが数個しかない場合、基本的に世界平均にフォールバックしたいと思います。私はベイジアン統計について少し知っており、ベイジアン推論や共役事前分布などを使用してモデル化する方法を説明する多くの人々のPDFを読みました。これを適切に行う方法はあると思いますが、正しくモデル化する方法がわかりません。 ベイジアン的な方法で問題を定式化するのに役立つヒントにとても満足しています。これは、実際にこれを実装するために使用できる例をオンラインで見つけるのに大いに役立ちます。 更新: お返事ありがとうございます。私は自分の問題について少しずつ理解し始めています。ありがとうございました!問題をもう少しよく理解しているかどうかを確認するために、いくつか質問をさせてください。 私が想定して変換がベータ分布として配布されており、ベータ分布は、2つのパラメータを持っているaaaとと。bbb の 1212\frac{1}{2} 1212\frac{1}{2}パラメーターはハイパーパラメーターなので、前のパラメーターですか?最後に、ベータ分布のパラメーターとしてコンバージョン数とクリック数を設定しましたか? ある時点で異なる広告を比較したいので、P(conversion|ad=X)=P(ad=X|conversion)∗P(conversion)P(ad=X)P(conversion|ad=X)=P(ad=X|conversion)∗P(conversion)P(ad=X)P(\mathrm{conversion} | …

1
分析形式を持つのに十分に簡単な場合に事後分布を把握する手順は?
これは計算科学でも尋ねられました。 私は11個のデータサンプルを、自己回帰のためのいくつかの係数のベイズ推定値を計算しようとしています: ε iは平均値0、分散を有するガウスである σ 2 E ベクターに事前分布(μ 、α )tは、平均のガウスである(0 、0 )と対角エントリを有する対角共分散行列が等しいです σ 2 のp。Yi=μ+α⋅Yi−1+ϵiYi=μ+α⋅Yi−1+ϵi Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i} ϵiϵi\epsilon_{i}σ2eσe2\sigma_{e}^{2}(μ,α)t(μ,α)t(\mu, \alpha)^{t}(0,0)(0,0)(0,0)σ2pσp2\sigma_{p}^{2} 自己回帰式に基づいて、この手段は、データ点(の分布ことYiYiY_{i})、平均して正常であるμ+α⋅Yi−1μ+α⋅Yi−1\mu + \alpha\cdot{}Y_{i-1}と分散σ2eσe2\sigma_{e}^{2}。したがって、すべてのデータポイントの密度(Y)(Y)(Y)(独立していると仮定すると、これは作成中のプログラムに適しています)は次のようになります。p(Y|(μ,α)t)=∏i=21112πσ2e−−−−√exp−(Yi−μ−α⋅Yi−1)22σ2e.p(Y|(μ,α)t)=∏i=21112πσe2exp⁡−(Yi−μ−α⋅Yi−1)22σe2. p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}. ベイズの定理により、上記の密度と前の密度の積をとることができます。その後、正規化定数が必要になります。私の考えでは、これはガウス分布になるはずなので、μμ\muと積分で明示的に計算するのではなく、最後に正規化定数を心配することができαα\alphaます。 これは私が問題を抱えている部分です。事前密度(多変量)とこの単変量データ密度の積の乗算を計算するにはどうすればよいですか?後部は純粋にμμ\muと密度である必要がありαα\alphaますが、そのような製品からどのようにそれを得ることができるかわかりません。 あなたが私を正しい方向に向けただけで、厄介な代数を実行する必要がある場合でも、ポインタは本当に役立ちます(これはすでに何度か試したことです)。 出発点として、ここにベイズの規則からの分子の形式があります:1(2πσ2e)5⋅2πσ2pexp[12σ2e∑i=211(Yi−μ−α⋅Yi−1)2−μ22σ2p−α22σ2p].1(2πσe2)5⋅2πσp2exp⁡[12σe2∑i=211(Yi−μ−α⋅Yi−1)2−μ22σp2−α22σp2]. \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} …

2
優れたハイブリッド/ハミルトニアンモンテカルロアルゴリズムの設計について知っておくべきことは何ですか?
私はPyMCのハイブリッドモンテカルロサンプリングアルゴリズムを設計しており、できるだけ手間のかからない一般的なものにしようとしているので、HMCアルゴリズムの設計に関する良いアドバイスを探しています。私は読んだことがあるラドフォードの調査章とBeskosらを。HMCの最適な(ステップサイズ)チューニングに関するal。の最近の論文と私は、次のヒントを集めました。 運動量変数は共分散で分布する必要があります。ここで、は一般に分布の共分散行列のようなものです(単純な分布の場合)が、異なる可能性があります(おかしな形の分布の場合)。デフォルトでは、私はモードでヘシアンを使用しています。C− 1C−1C^{-1}CCC 軌跡はリープフロッグ法で計算する必要があります(他のインテグレーターには価値がないようです) 最適な受け入れ率は、非常に大きな問題の場合は.651、それ以外の場合は高くなります。 ステップサイズは、ようにスケーリングする必要があります。ここで、は自由変数、は次元数です。L × d(1 / 4 )L×d(1/4)L\times d^{(1/4)}LLLddd テールが明るい場合、または安定性が奇数の領域がある場合、ステップサイズを小さくする必要があります。これには、ステップサイズのランダム化が役立ちます。 他に採用すべき、または少なくとも考慮すべきアイデアはありますか?私が読むべき他の論文?たとえば、価値がある適応ステップサイズアルゴリズムはありますか?軌道の長さについて良いアドバイスはありますか?実際、より良いインテグレーターはいますか? 誰かこれをコミュニティウィキにしてください。

1
分布の自由度の良い事前分布とは何ですか?
分布で使用して、ベイジアンモデルで短い間隔の資産収益をモデル化します。分布の両方の自由度(モデル内の他のパラメーターと共に)を推定したいと思います。資産のリターンが非常に異常であることは知っていますが、それ以上のことはあまり知りません。 そのようなモデルの自由度の適切な、やや有益な事前分布とは何ですか?

2
2つの正規分布変数の比率、または1つの逆数をパラメーター化する方法は?
問題: ベイズのメタ分析で事前分布およびデータとして使用する分布をパラメーター化しています。データは文献で要約統計として提供されており、ほぼ独占的に正規分布していると想定されています(ただし、変数は0未満にはならず、一部は比率、一部は質量など)。 解決策がない2つのケースに遭遇しました。対象のパラメーターは、データの逆数または2つの変数の比率である場合があります。 例: 2つの正規分布変数の比率: データ:窒素と炭素の割合の平均とsd パラメーター:窒素と炭素の比率。 正規分布変数の逆: データ:質量/面積 パラメーター:面積/質量 私の現在のアプローチは、シミュレーションを使用することです: たとえば、平均xbar.n、c、分散:se.n、c、およびサンプルサイズ:nn、ncの炭素と窒素のパーセントデータのセットの場合: set.seed(1) per.c <- rnorm(100000, xbar.c, se.c*n.c) # percent C per.n <- rnorm(100000, xbar.n, se.n*n.n) # percent N ratio.cn = perc.c / perc.nをパラメーター化したい # parameter of interest ratio.cn <- perc.c / perc.n 次に、事前分布に対して範囲の最適な分布を選択します0→∞0→∞0 \rightarrow \infty library(MASS) dist.fig <- list() …

2
ベイズ推定では、なぜ一部の項が事後予測から除外されるのですか?
ケビンマーフィーのガウス分布の共役ベイズ分析では、事後予測分布は p(x∣D)=∫p(x∣θ)p(θ∣D)dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta ここで、はモデルが適合するデータであり、は見えないデータです。私が理解していないのは、積分の最初の項でへの依存がなくなる理由です。確率の基本的なルールを使用して、私は期待したでしょう:DDDxxxDDD p(a)p(a∣b)p(x∣D)=∫p(a∣c)p(c)dc=∫p(a∣c,b)p(c∣b)dc↓=∫p(x∣θ,D)⋆p(θ∣D)dθp(a)=∫p(a∣c)p(c)dcp(a∣b)=∫p(a∣c,b)p(c∣b)dc↓p(x∣D)=∫p(x∣θ,D)⏞⋆p(θ∣D)dθ \begin{align} p(a) &= \int p(a \mid c) p(c) dc \\ p(a \mid b) &= \int p(a \mid c, b) p(c \mid b) dc \\ &\downarrow \\ p(x \mid D) &= \int \overbrace{p(x \mid …


弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.