タグ付けされた質問 「bayesian」

特定のケースでは、完全な多次元モデルのジェフリーズ事前分布は一般に不適切と見なされます。これは、たとえば、、、 （ここで、および不明）、次の事前分布が優先されます（ジェフリーズの事前の完全な）： ここでは、固定したときに取得したジェフリーズ事前分布です（同様に）。この事前分布は、処理するときの参照事前分布と一致します。p （σ ）σy私= μ + ε私、y私=μ+ε私、 y_i=\mu + \varepsilon_i \, , ε 〜N（0 、σ2）ε〜N（0、σ2）\varepsilon \sim N(0,\sigma^2)μμ\muσσ\sigmaπ（μ 、σ）α σ− 2π（μ、σ）∝σ−2\pi(\mu,\sigma)\propto \sigma^{-2}p （μ 、σ）= π（μ ）⋅ π（σ）α σ− 1、p（μ、σ）=π（μ）⋅π（σ）∝σ−1、 p(\mu,\sigma) = \pi(\mu) \cdot \pi(\sigma) \propto \sigma^{-1}\, , π（μ ）π（μ） \pi(\mu)σσ\sigmap （σ）p（σ）p(\sigma)σσ\sigmaおよびは別々のグループになります。μμ\mu 質問1：なぜそれらを別々のグループとして扱うのが同じグループで扱うよりも理にかなっているのか（私が正しい場合（？）、以前の完全な次元のジェフリーズでは[1]を参照）。 次に、次の状況を考えます： ここでは不明、、は未知であり、は既知の非線形関数です。そのような場合、魅力的であり、私の経験から、次の分解を考慮することは時々有益です： ここでとは、前の縮尺位置の例と同様に、2つのサブモデルのジェフリーズです。θ ∈ R N ε I〜N …

14 distributions  bayesian  estimation  prior  jeffreys-prior 

テスト密度のスイートでいくつかの異なるアルゴリズムのパフォーマンスを比較するMCMCメソッドの大規模な研究がありましたか？Rios and Sahinidisの論文（2013）に相当するものを考えています。これは、いくつかのクラスのテスト関数での多数の派生物を含まないブラックボックスオプティマイザーの徹底的な比較です。 MCMCの場合、パフォーマンスは、たとえば、密度評価ごとの有効サンプル数（ESS）、またはその他の適切なメトリックで推定できます。 いくつかのコメント： パフォーマンスはターゲットpdfの詳細に強く依存することを理解していますが、最適化には同様の（場合によっては同一ではない）引数が保持されますが、ベンチマークの最適化を扱う多数のベンチマーク関数、スイート、競合、論文などがありますアルゴリズム。 また、MCMCが最適化と異なる点は、ユーザーからの注意と調整が比較的はるかに必要なことです。それでも、ほとんどまたはまったくチューニングを必要としないMCMCメソッドがいくつかあります。バーンインフェーズ、サンプリング中に適応するメソッド、または相互作用する複数のチェーンを進化させて使用するマルチステート（アンサンブルとも呼ばれる）メソッド（Emceeなど）サンプリングをガイドする他のチェーンからの情報。 特に、標準メソッドとマルチステート（別名アンサンブル）メソッドの比較に興味があります。マルチステートの定義については、MacKayの本のセクション30.6を参照してください。 マルチステートメソッドでは、複数のパラメーターベクトルが維持されます。これらは、メトロポリスやギブスなどの動きの下で個別に進化します。ベクトル間の相互作用もあります。バツバツ\textbf{x} この質問はここから始まりました。 更新 マルチステート別名アンサンブルメソッドの興味深い例については、GelmanのブログのBob Carpenterによるこのブログ投稿と、このCV投稿に関する私のコメントを参照してください。

14 machine-learning  bayesian  references  mcmc 

この質問は、（もしあれば）頻繁なアプローチがベイジアンよりも実質的に優れているという質問から生まれました。 私はその質問に対する私の解決策で投稿したように、私の意見では、あなたが頻繁な主義者である場合、あなたはしばしば頻度主義者の 方法がそれに違反するため、尤度の原則を信じる/遵守する必要はありません。ただし、これは通常、適切な事前確率を前提としているため、ベイズ法は尤度の原則に違反することはありません。 だから今、あなたがベイジアンであるということは、尤度原理における自分の信念や合意を確認しますか、またはベイジアンであることは尤度原理が違反されないという素晴らしい結果をもたらすという議論ですか？

14 bayesian  likelihood  likelihood-principle 

背景：現在、さまざまなベイジアン階層モデルを比較する作業を行っています。データは、参加者iと時間jの幸福度の数値的尺度です。約1000人の参加者と、参加者ごとに5〜10個の観察結果があります。y私はjy私jy_{ij}私私ijjj ほとんどの縦断的データセットと同様に、時間的に近い観測値は、離れた観測値よりも大きな相関関係を持つ何らかの自己相関を期待しています。いくつかのことを簡略化すると、基本モデルは次のようになります。 y私はj〜N（μ私はj、σ2）y私j〜N（μ私j、σ2）y_{ij} \sim N(\mu_{ij}, \sigma^2) ここで、遅延のないモデルを比較しています。 μ私はj= β0 iμ私j=β0私\mu_{ij} = \beta_{0i} 遅延モデルの場合： μ私はj= β0 i+ β1（yi （j − 1 ）- β0 i）μ私j=β0私+β1（y私（j−1）−β0私）\mu_{ij} = \beta_{0i} + \beta_{1} (y_{i(j-1)} - \beta_{0i}) ここで者レベルの平均値とされているβ 1はラグパラメータである（すなわち、ラグ効果は、その時点の予測値から前回の時点から観測の偏差の倍数を加算します）。また、y i 0（つまり、最初の観測の前の観測）を推定するためにいくつかのことをしなければなりませんでした。β0 iβ0私\beta_{0i}β1β1\beta_1yi 0y私0y_{i0} 私が得ている結果は次のことを示しています。 遅延パラメーターは、約.18、95％CI [.14、.21]です。すなわち、それは非ゼロです モデルに遅延が含まれると、平均偏差とDICは両方とも数百増加します。 事後予測チェックは、遅延効果を含めることにより、モデルがデータの自己相関をより良く回復できることを示しています したがって、要約すると、ゼロ以外のラグパラメーターと事後予測チェックは、ラグモデルが優れていることを示唆しています。それでも平均逸脱とDICは、遅延のないモデルの方が優れていることを示唆しています。これは私を困惑させます。 私の一般的な経験では、有用なパラメーターを追加する場合、少なくとも平均偏差を減らす必要があります（複雑さのペナルティーの後でもDICは改善されません）。さらに、遅延パラメーターの値をゼロにすると、遅延なしモデルと同じ偏差が得られます。 質問 ラグパラメーターがゼロ以外であり、事後予測チェックが改善される場合でも、なぜラグ効果を追加するとベイジアン階層モデルの平均逸脱が増加するのでしょうか？ 最初の考え 私は多くの収束チェックを行いました（たとえば、トレースプロットを見る;チェーンおよびラン全体の逸脱結果の変化を調べる）両方のモデルが後方に収束したようです。 ラグエフェクトを強制的にゼロにするコードチェックを実行しました。これにより、ラグのないモデルの逸脱を回復できました。 また、平均偏差からペナルティーを引いた値を調べました。これにより、期待値で偏差が生じるはずであり、これによりラグモデルが悪化しました。 β0 …

14 bayesian  autocorrelation  hierarchical-bayesian  deviance 

Q： Dirichletプロセスを使用してデータをクラスタリングする標準的な方法は何ですか？ Gibbsサンプリングを使用すると、サンプリング中にクラスターが表示され、消えます。また、事後分布はクラスターの再ラベル付けに対して不変であるため、識別可能性の問題があります。したがって、どちらがユーザーのクラスターであるかを言うことはできませんが、2人のユーザーが同じクラスターに属していると言えます（つまり、p （c私= cj）p（c私=cj）p(c_i=c_j)）。 クラスの割り当てを要約して、がポイントiのクラスター割り当てである場合、c i = c jだけでなくc i = c j = c j =になるようにできます。。。= c z？c私c私c_i私私ic私= cjc私=cjc_i=c_jc私= cj= cj=。。。= czc私=cj=cj=。。。=czc_i=c_j=c_j=...=c_z これらは私が見つけた選択肢であり、それらが不完全または見当違いだと思う理由です。 （1）DP-GMM + Gibbsサンプリング+ペアベースの混同行列 クラスタリングにディリクレプロセスガウス混合モデル（DP-GMM）を使用するために、著者がギブスサンプリングを使用した密度推定のためのDP-GMMを提案するこの論文を実装しました。 クラスタリングのパフォーマンスを調査するために、彼らは次のように述べています。 コンポーネントの数は[MCMC]チェーンで変化するため、チェーン全体で同じコンポーネントに割り当てられる各データペアの頻度を示す混同マトリックスを作成する必要があります。図6を参照してください。 短所：これは実際の「完全な」クラスタリングではなく、ペアワイズクラスタリングです。実際のクラスターを知っており、それに応じてマトリックスを配置しているため、この図は見栄えがします。 （2）DP-GMM + Gibbsサンプリング+何も変化しないサンプル 私は検索してきましたが、ギブスサンプラーを使用してディリクレプロセスに基づいてクラスタリングを行うと主張する人がいます。たとえば、この投稿では、クラスターの数または平均のいずれにも変化がなくなったときにチェーンが収束し、そこから要約を取得すると考えています。 短所：私が間違っていなければ、これが許可されているかどうかわかりません： （a）MCMC中にラベルが切り替えられる場合があります。 （b）定常分布であっても、サンプラーは時々クラスターを作成できます。 （3）DP-GMM + Gibbsサンプリング+最も可能性の高いパーティションのサンプルを選択 この論文では、著者は次のように述べています。 「バーンイン」期間の後、IGMMの事後分布からの偏りのないサンプルをギブスサンプラーから引き出すことができます。ハードクラスタリングは、このようなサンプルを多数描画し、クラスインジケーター変数の結合尤度が最も高いサンプルを使用することで見つけることができます。M. Mandelによって作成された修正IGMM実装を使用します。 短所：これが割り当てをサンプリングするだけのCollapsed Gibbs Samplerでない限り、計算できますが、周辺のp （c）は計算できません。（代わりに、最高のp （c、θ …

14 bayesian  clustering  mcmc  dirichlet-process  identifiability 

ベイジアン統計は非常に主観的であるという主張をよく耳にします。主な論点は、推論が事前確率の選択に依存するということです（たとえ最大エントロピーの無関心の原理を使用して事前確率を選択できたとしても）。それと比較して、主張では、一般的な統計はより客観的です。この声明にはどれほどの真実がありますか？ また、これは私が不思議に思う： 頻度統計の具体的な要素（存在する場合）は、特に主観的であり、ベイジアン統計に存在しないか、またはそれほど重要ではありませんか？ 主観性は、頻度統計よりもベイジアンの方が一般的ですか？

14 bayesian  interpretation  frequentist  philosophical 

信頼区間に関するウィキペディアのページから： ...信頼区間が、繰り返される（および場合によっては異なる）実験の多くの個別のデータ分析にわたって構築される場合、パラメーターの真の値を含むそのような区間の割合は、信頼レベルと一致します... そして同じページから： 信頼区間は、実際に取得されたデータが与えられた場合、パラメーターの真の値が信頼区間に入る特定の確率を持っているとは予測しません。 私がそれを正しく理解していれば、この最後の声明は、確率の頻繁な解釈を念頭に置いて作られています。しかし、ベイズ確率の観点から、95％の信頼区間に95％の確率で真のパラメーターが含まれないのはなぜですか？そうでない場合、次の推論の何が問題になっていますか？ 95％の確率で正解を生成することがわかっているプロセスがある場合、次の解答が正しい確率は0.95です（プロセスに関する追加情報がない場合）。同様に、95％の時間で真のパラメーターを含むプロセスによって作成された信頼区間を誰かが表示した場合、知っていることを考えると、0.95の確率で真のパラメーターが含まれていると言ってはいけませんか？ この質問は似ていますが、同じではありません。95％CIが95％の平均を含む可能性を意味しないのはなぜですか？その質問に対する答えは、95％CIが95％の頻度で頻繁に見られる平均を含む可能性を暗示しない理由に焦点を合わせています。私の質問は同じですが、ベイジアン確率の観点からです。

14 bayesian  confidence-interval 

MCMCに関連するいくつかの講義を受けていました。ただし、使用方法の良い例は見つかりません。誰でも私に具体的な例を与えることができます。私が見ることができるのは、それらがマルコフ連鎖を実行し、その定常分布が望ましい分布であると言うことです。 希望する分布をサンプリングするのが難しい良い例が欲しいです。そこで、マルコフ連鎖を作成します。マルコフ連鎖の定常分布がターゲット分布になるように遷移行列を選択する方法を知りたい

14 probability  bayesian  mcmc  markov-process 

素敵なブログ投稿とそこにリンクされている論文に従って、私はベイジアン変数の選択をいじるかもしれないと思った。私はrjagsでプログラムを作成し（私は非常に新人です）、Exxon Mobilの価格データを、そのリターンを説明する可能性が低いもの（パラジウム価格など）およびその他の関連性の高いもの（SP500など）とともに取得しました）。 実行するlm()と、過剰パラメーター化モデルの強力な証拠がありますが、パラジウムは間違いなく除外する必要があります。 Call: lm(formula = Exxon ~ 0 + SP + Palladium + Russell + OilETF + EnergyStks, data = chkr) Residuals: Min 1Q Median 3Q Max -1.663e-03 -4.419e-04 3.099e-05 3.991e-04 1.677e-03 Coefficients: Estimate Std. Error t value Pr(>|t|) SP 0.51913 0.19772 2.626 0.010588 * Palladium 0.01620 0.03744 0.433 …

14 regression  bayesian  multiple-regression  feature-selection  jags 

閉まっている。この質問はトピック外です。現在、回答を受け付けていません。 この質問を改善したいですか？ 質問を更新して、相互検証のトピックになるようにします。 2年前に閉店。 私は、1つの独立変数、1つの従属変数、およびカテゴリ変数で構成されるかなり単純なデータセットを持っています。私のようなfrequentistテストを実行している経験をたくさん持っているaov()とlm()、私はR.で自分のベイズ同等物を実行する方法を見つけ出すことはできません 最初の2つの変数に対してベイジアン線形回帰を実行し、分類としてカテゴリ変数を使用してベイジアン分散分析を実行したいのですが、Rでこれを行う方法について簡単な例を見つけることはできません。どちらも？さらに、ベイジアン分析によって作成された出力統計は正確に何であり、何を表していますか？ 私は統計にあまり精通していませんが、コンセンサスはp値で基本的なテストを使用することはやや見当違いであると考えられているようであり、私はそれを維持しようとしています。よろしく。

14 r  regression  bayesian  anova  inference 

ベイジアン推論を実行するために、どのソフトウェア統計パッケージをお勧めしますか？ たとえば、openBUGSまたはwinBUGSをスタンドアロンとして実行したり、Rから呼び出すこともできます。しかし、Rにはベイジアン分析を実行できる独自のパッケージ（MCMCPack、BACCO）がいくつかあります。 Rのどのベイジアン統計パッケージが最適であるか、または他の選択肢（MatlabまたはMathematica？）についての提案はありますか？ 比較したい主な機能は、パフォーマンス、使いやすさ、安定性、柔軟性です

14 r  probability  bayesian  inference  bugs 

私は標準偏差の偏りのない推定の計算について読んでいたと私が読んだソース （...）いくつかの重要な状況を除き、タスクは、有意性検定や信頼区間の使用などの標準手順、またはベイズ分析を使用することで必要性が回避されるため、統計の適用とはほとんど関係がありません。 たとえば、信頼区間で計算の一部として標準偏差を使用していないのではないかと、このステートメントの背後にある理由を解明できる人がいるかどうか疑問に思っていました。したがって、信頼区間はバイアス標準偏差の影響を受けませんか？ 編集： これまでの回答に感謝しますが、それらの理由のいくつかに従っているのかどうか確信が持てないので、非常に簡単な例を追加します。ポイントは、ソースが正しい場合、私の結論から例に何か間違っているということです。p値が標準偏差にどのように依存しないかを誰かに指摘してもらいたいです。 研究者が、自分の都市でのテストの5年生の平均スコアが、76の全国平均と有意水準0.05で異なるかどうかをテストしたいとします。研究者は20人の学生のスコアをランダムにサンプリングしました。サンプルの平均は80.85で、サンプルの標準偏差は8.87でした。つまり、t =（80.85-76）/（8.87 / sqrt（20））= 2.44。次に、tテーブルを使用して、19 dfでの2.44の両側確率値が0.025であることを計算します。これは有意水準0.05を下回っているため、帰無仮説を棄却します。 したがって、この例では、サンプルの標準偏差をどのように推定したかに応じて、p値（およびおそらくあなたの結論）は変化しませんか？

14 bayesian  statistical-significance  mathematical-statistics  standard-deviation  standard-error 

異なる機能空間での推定の収束について述べている本「代数幾何学と統計学習理論」の最初の章では、ベイジアン推定はシュワルツ分布トポロジーに対応し、最尤推定はsup-normトポロジーに対応していると述べています。 （7ページ）： たとえば、sup-norm、LpLpL^p -norm、ヒルベルト空間の弱いトポロジ、シュワルツ分布トポロジなどです。収束が成立するかどうかは、関数空間のトポロジに大きく依存します。ベイズ推定はシュワルツ分布トポロジーに対応しますが、最尤法または事後法はsup-normに対応します。この違いは、特異モデルの学習結果に大きく影響します。L2L2L^2Kn（w ）→ K（w ）Kn（w）→K（w）K_n(w)\to K(w) ここで、とはそれぞれ、経験的KL発散（観測値に対する合計）と真のモデルとパラメーターモデル（パラメーターを使用）間の真のKL発散（積分とデータ分布）です。Kn（w）Kn（w）K_n(w)K（w ）K（w）K(w)www 誰もが説明を与えることができますか、本のどの場所に正当性があるのか​​を教えてくれますか？ありがとうございました。 更新：著作権の内容は削除されました。

14 bayesian  maximum-likelihood  statistical-learning 

簡単に言えば、探索的データ分析に対するベイジアンとフリークエンティストのアプローチに違いはありますか？ ヒストグラムはヒストグラムであり、散布図は散布図などであるため、EDAメソッドに固有のバイアスはありません。また、EDAの教え方や提示方法の違いの例を発見していません（A. Gelmanによる特に理論的な論文は無視します） 。最後に、適用されたすべての事項の調停者であるCRANを調べました。ベイジアンアプローチに合わせたパッケージは見つかりませんでした。ただし、CVにはこの点を明らかにできる少数の人がいると思いました。 なぜ違いがあるのですか？ 手始めに： 適切な事前分布を特定する場合、これを視覚的に調査するべきではありませんか？ データを要約して、頻度モデルまたはベイジアンモデルのどちらを使用するかを提案する場合、EDAはどの方向に進むべきかを提案すべきではありませんか？ 2つのアプローチには、混合モデルの処理方法に非常に明確な違いがあります。サンプルが母集団の混合物に由来する可能性が高いことを識別することは困難であり、混合パラメーターを推定するために使用される方法論に直接関連しています。 どちらのアプローチにも確率モデルが組み込まれており、モデルの選択はデータを理解することにより推進されます。より複雑なデータまたはより複雑なモデルは、EDAでより多くの時間を必要とします。このような確率モデルまたは生成プロセスの違いにより、EDAアクティビティに違いがあるため、異なる確率的アプローチから生じる違いはないのでしょうか。 注1：私はどちらの「キャンプ」の哲学にも関心がない-私はEDAツールキットと方法のギャップにのみ対処したい。

14 bayesian  frequentist  eda 

私は、ベイジアン計量経済学に関する理論的に厳密な教科書を探しています。頻繁な計量経済学の確かな理解を前提としています。 推奨事項を個別に上下に投票できるように、回答ごとに1つの作品を提案したいと思います。

14 bayesian  econometrics  references