タグ付けされた質問 「bayesian」

私はウィキペディアでジェフリーズ・プリアーについて読んでいた：ジェフリーズ・プリアー。各例の後、分散安定化変換がジェフリーズ・プリアーを均一なプリアーに変える方法を説明していることを見た。 例として、ベルヌーイの場合、確率がである硬貨の場合、ベルヌーイ試行モデルは、パラメータジェフリーズ事前分布が次のようになることを示します。γ∈[0,1]γ∈[0,1]\gamma \in [0,1]γγ\gamma p(γ)∝1γ(1−γ)−−−−−−−√p(γ)∝1γ(1−γ) p(\gamma) \propto \frac{1}{\sqrt{\gamma ( 1-\gamma)}} そして、これはベータ分布であると述べています。また、場合、のジェフリーズ事前は区間均一であると述べています。α=β=12α=β=12\alpha = \beta = \frac{1}{2}γ=sin2(θ)γ=sin2⁡(θ)\gamma = \sin^2(\theta)θθ\theta[0,π2][0,π2]\left[0, \frac{\pi}{2}\right] 変換は分散安定化変換の変換として認識しています。私を混乱させるのは： なぜ分散安定化変換が均一な事前分布をもたらすのでしょうか？ なぜ私たちは前もって統一したいのでしょうか？（不適切である可能性が高いと思われるため） 一般に、なぜ二乗正弦変換が行われ、どのような役割を果たしているのかはよくわかりません。誰にもアイデアはありますか？

17 bayesian  prior  jeffreys-prior 

ここで2週間ほど前に出した質問への「回答」を再投稿しています。なぜジェフリーズの事前知識が役に立つのですか？しかし、それは本当に質問でした（また、私はその時点でコメントを投稿する権利もありませんでした）。 上記のリンクでは、Jeffreysの以前の興味深い特徴は、モデルを再パラメータ化するときに、結果の事後分布が、変換によって課せられる制限に従う事後確率を与えるということです。そこに説明されているように、ベータベルヌーイの例の成功確率からオッズに移動するとき、事後が。θθ\thetaψ=θ/(1−θ)ψ=θ/(1−θ)\psi=\theta/(1-\theta)P(1/3≤θ≤2/3∣X=x)=P(1/2≤ψ≤2∣X=x)P(1/3≤θ≤2/3∣X=x)=P(1/2≤ψ≤2∣X=x)P(1/3\leq\theta\leq 2/3\mid X=x)=P(1/2\leq\psi\leq 2\mid X=x) をオッズに変換するためのジェフリーズの不変性の数値例を作成し、さらに興味深いことに、他の事前分布（たとえば、Haldane、ユニフォーム、または任意のもの）がないことを作成したいと考えました。θθ\thetaψψ\psi さて、成功確率の事後がベータである場合（ジェフリーズだけでなく任意のベータ事前の場合）、オッズの事後は同じパラメーターで第2種のベータ分布（Wikipediaを参照）に従います。次に、以下の数値例で強調されているように、Jeffreysだけでなく、ベータ事前の選択（alpha0_Uおよびで遊んでくださいbeta0_U）に不変性があることは（少なくとも私にとって）それほど驚くことではありません。プログラムの出力。 library(GB2) # has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta) theta_1 = 2/3 # a numerical example as in the above post theta_2 = 1/3 odds_1 = theta_1/(1-theta_1) # the corresponding odds odds_2 = theta_2/(1-theta_2) n …

17 bayesian  mathematical-statistics  fisher-information  jeffreys-prior  invariance 

私は現在、Likelihood Principleを理解しようとしていますが、率直に言ってまったく理解していません。それで、たとえそれらが非常に基本的な質問であっても、私はすべての質問をリストとして書きます。 この原則の文脈において、「すべての情報」という言葉は正確に何を意味するのでしょうか？（サンプル内のすべての情報が尤度関数に含まれているように。） この原理は、という非常に証明可能な事実に何らかの形で関係していますか？原則の「可能性」はp （y | x ）と同じものですか、そうではありませんか？p(x|y)∝p(y|x)p(x)p(x|y)∝p(y|x)p(x)p(x|y)\propto p(y|x)p(x)p(y|x)p(y|x)p(y|x) 数学の定理はどのようにして「論争の的になる」ことができますか？私の（弱い）数学の理解は、定理が証明されるか、証明されないことです。Likelihood Principleはどのカテゴリに分類されますか？ 尤度原理は、式に基づいたベイズ推論にとってどのように重要ですか？p(x|y)∝p(y|x)p(x)p(x|y)∝p(y|x)p(x)p(x|y)\propto p(y|x)p(x)

17 bayesian  likelihood  likelihood-principle 

平坦な事前分布では、ML（頻度-最大尤度）とMAP（ベイジアン-最大事後確率）推定量は一致します。 ただし、より一般的には、損失関数のオプティマイザーとして導出されたポイント推定量について話します。すなわち ）X（x^(.)=argminE(L(X−x^(y))|y) (Bayesian) x^(.)=argminE(L(X−x^(y))|y) (Bayesian) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) \; | \; y \right) \qquad \; \,\text{ (Bayesian) } x^(.)=argminE(L(x−x^(Y))|x)(Frequentist)x^(.)=argminE(L(x−x^(Y))|x)(Frequentist) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(x-\hat x(Y)) \; | \; x \right) \qquad \text{(Frequentist)} ここで、は期待値演算子、は損失関数（ゼロで最小化）、は推定であり、パラメーターデータ与えられ、ランダム変数は大文字で示されます。 L X（Y ）のY XEE\mathbb{E}LLLx^(y)x^(y)\hat x(y) …

17 bayesian  estimation  loss-functions  frequentist  decision-theory 

サンプルサイズが小さい場合、事前分布は事後分布に大きく影響しますか？

17 bayesian  sample-size  prior 

Robby McKilliamは、この投稿へのコメントで次のように述べています。 頻度論者の観点から、事前知識をモデルに組み込むことができない理由はないことに注意してください。この意味で、頻繁なビューはより単純であり、モデルといくつかのデータのみがあります。モデルから事前情報を分離する必要はありません また、ここでは、@ jbowmanは、頻度が高い人はコスト/ペナルティ関数による正則化を使用し、ベイジアンはこれを事前に行うことができると言います。 頻度の高い専門家は、正則化が優れていることを認識し、最近では非常に一般的に使用しています。そして、ベイジアン事前分布は正則化として簡単に解釈できます。 だから、私の質問は、ベイジアンが事前分布として指定するものを一般に頻繁に彼らのモデルに組み込むことができますか？正則化を例にとると、コスト/ペナルティ関数は本当にモデルに統合されているのでしょうか、あるいはこれはソリューションを調整する（またユニークにする）純粋に人工的な手段ですか？

17 bayesian  prior  regularization  frequentist 

トピックモデリング（潜在ディリクレ割り当て）を使用する場合、トピックの数はユーザーが指定する必要がある入力パラメーターです。 Dirichletプロセスがサンプリングする必要がある候補トピックセットのコレクションも提供する必要があるように見えますか？私の理解は正しいですか？実際には、この種の候補トピックセットを設定する方法は？

17 machine-learning  bayesian  clustering  text-mining  dirichlet-distribution 

統計へのさまざまなアプローチについて簡単な調査を書いた人はいますか？最初の概算では、頻度とベイジアンの統計があります。しかし、よく見ると、尤度主義や経験ベイズのような他のアプローチもあります。そして、あなたは、ベイズ統計などの主観的なベイズ客観的なベイズなどのグループ内の細分化を持っています。 調査記事がいいでしょう。図が含まれていればさらに良いでしょう。

17 bayesian  frequentist  philosophical 

R階層型ディリクレプロセス（HDP）（最近人気のノンパラメトリックベイジアン手法の1つ）を使用したデータのクラスタリングに関する優れたチュートリアルを探しています。 ノンパラメトリックベイジアン分析にはDPpackage（IMHO、利用可能なすべての中で最も包括的な）がありますR。しかし、R NewsHDPをコーディングするのに十分なほど、パッケージリファレンスマニュアルまたはパッケージリファレンスマニュアルに記載されている例を理解できません。 任意のヘルプまたはポインタを歓迎します。 トピックモデリング用のHDPのC ++実装はここから入手できます（C ++コードについては下をご覧ください）

17 r  bayesian  clustering  nonparametric 

ロックされています。この質問とその回答はロックされています。なぜなら、質問はトピックから外れていますが、歴史的に重要だからです。現在、新しい回答やインタラクションを受け入れていません。 私はこの本を買いました： 何でも測定する方法：ビジネスにおける無形資産の価値を見つける そして Head First Data Analysis：学習者向けの大きな数字、統計、適切な意思決定ガイド 他にどんな本をお勧めしますか？

17 machine-learning  bayesian  references 

n個のデータポイントを観察した後、事前のN〜（a、b）で事後を計算するにはどうすればよいですか？データポイントのサンプル平均と分散を計算し、事後と事前を結合する何らかの計算を行う必要があると思いますが、結合式がどのように見えるかはよくわかりません。

17 bayesian  normal-distribution  conjugate-prior 

この質問は、私が最近行った2つのやり取りからインスピレーションを受けました。1つはCVで、もう1つはEconomics.seでのやり取りです。 そこに、私は答え掲示していた有名な「封筒パラドックス」（ないとして、あなたを気にする「正しい答え」が、状況の構造に関する特定の仮定から流れる答えとして）。しばらくして、ユーザーが重要なコメントを投稿し、私は彼の主張を理解しようと会話を始めました。彼がベイズの方法を考えていたことは明らかだった、と事前確率の話を保持-そしてそれは私に夜が明けた、と私は私の自己に言った： "待っ分、任意の前について何か言った？ように私が策定しています問題、ここには事前条件はありません。彼らは写真を入力しないだけで、必要はありません。」 最近、CVで統計的独立性の意味についてこの答えを見ました。著者に彼の文章をコメントしました 「...イベントが統計的に独立している場合、（定義により）一方を観察することから他方を知ることはできません。」 露骨に間違っていた。コメント交換で、彼は（彼の言葉）の問題に戻り続けました 「「学習」とは、別のものの観察に基づいて物事に関する私たちの信念を変えることを意味するのではないでしょうか？そうだとすれば、独立は（定義的に）これを排除しませんか？ 繰り返しになりますが、彼がベイジアンの考え方をしていること、そして私たちがいくつかの信念（つまり、事前）から始めることを自明であると考えたことは明らかでした。しかし、最初の信念はどのように作成されますか？ 科学は現実に適合しなければならないので、私は関係する人間に事前がない状況が存在することに注意します（私は、事前に何もせずに状況に入ります-私は事前があると主張しないでくださいが、私は気づかないで、ここで偽の精神分析をspareしましょう）。 たまたま「情報価値のない事前確率」という言葉を聞いたことがあるので、質問を2つの部分に分けます。ここで、ベイジアン理論に精通しているユーザーは、私が尋ねようとしていることを正確に知っています。 Q1：情報に基づいていない事前情報を取得するのと同等の事前の（厳密な理論的意味での）欠如はありますか？ Q1の答えが「はい」（詳細をご記入ください）の場合、ベイズのアプローチは普遍的かつ最初から適用可能であることを意味します。その場所は、当面のケースにとって情報価値のない事前情報です。 しかし、Q1の答えが「いいえ」の場合、Q2は次のようになります。 Q2：Q1の答えが「いいえ」の場合、事前分布がない場合、ベイジアンアプローチは最初から適用できず、非ベイジアン方法で事前に事前分布を作成する必要があります。後でベイジアンアプローチを適用できますか？

16 bayesian  mathematical-statistics  prior  theory  philosophical 

近似ベイズ計算は、基本的に任意の確率モデルをフィッティングするための本当にクールな手法です。尤度が手に負えないモデルを対象としています（たとえば、パラメーターを修正してもモデルからサンプリングできますが、数値的、アルゴリズム的、または分析的に尤度を計算することはできません）。聴衆におおよそのベイズ計算（ABC）を導入すると、本当に簡単ではあるがまだ多少面白いですいくつかの例のモデルを使用していいですし、それが難治可能性があります。 まだ手に負えない可能性がある本当に単純なモデルの良い例は何でしょうか？

16 bayesian  simulation  model  likelihood  abc 

この質問は、技術的なフォローアップでこの質問。 Raftery（1988）でNNN提示されたモデルの理解と複製に問題があります：二項Nパラメーターの推論： WinBUGS / OpenBUGS / JAGSの階層ベイズアプローチ。ただし、コードだけではないので、ここでトピックを取り上げる必要があります。 バックグラウンド ましょうの未知との二項分布から、成功回数の集合Nとθ。さらに、Nはパラメーターμのポアソン分布に従うと仮定します（論文で説明）。その後、各xは、私は平均のポアソン分布持っλ = μ θを。λとθの観点から事前確率を指定したい。x=(x1,…,xn)x=(x1,…,xn)x=(x_{1},\ldots,x_{n})NNNθθ\thetaNNNμμ\muxixix_{i}λ=μθλ=μθ\lambda = \mu \thetaλλ\lambdaθθ\theta またはθに関する十分な事前知識がないと仮定して、λとθの両方に情報のない事前分布を割り当てたいと思います。言う、私の事前確率であるλ 〜G A M M A（0.001 、0.001 ）およびθ 〜U N I F O R M（0 、1 ）。NNNθθ\thetaλλ\lambdaθθ\thetaλ∼Gamma(0.001,0.001)λ∼Gamma(0.001,0.001)\lambda\sim \mathrm{Gamma}(0.001, 0.001)θ∼Uniform(0,1)θ∼Uniform(0,1)\theta\sim \mathrm{Uniform}(0, 1) 著者は不適切な事前分布を使用していますが、WinBUGSは不適切な事前分布を受け入れません。p(N,θ)∝N−1p(N,θ)∝N−1p(N,\theta)\propto N^{-1} 例 紙（226ページ）では、観測されたウォーターバックの次の成功数が用意されています：。母集団のサイズであるNを推定したい。53,57,66,67,7253,57,66,67,7253, 57, 66, 67, 72NNN WinBUGS（@StéphaneLaurentのコメントの後に更新）の例を解決しようとした方法は次のとおりです。 model { # Likelihood for …

16 bayesian  binomial  hierarchical-bayesian  winbugs 

私は本当にベイジアンのテクニックについて学びたいので、少し自分自身を教えようとしてきました。しかし、ベイジアン手法を使用することで、頻度論的手法よりも優位性が得られることを確認するのに苦労しています。たとえば、文献では、情報に基づいた事前分布を使用するものと、情報に基づいていない事前分布を使用するものについて、文献で少し見ています。しかし、情報量の少ない事前分布を使用している場合（実際に一般的ですか？）、事後分布がたとえばベータ分布であることがわかった場合は、最初にベータ分布を適合させて呼び出すことはできませんか？いい？何も伝えない事前配布をどのように構築するのかわかりません...まあ、本当に何が言えますか？ Rで使用しているいくつかの方法では、ベイジアン法とフリークエンティスト法の混合を使用していることが判明し（著者はこれが多少矛盾していることを認めています）、どの部分がベイジアンであるかを見分けることさえできません。分布のフィッティングは別として、ベイジアン法をどのように使用するかさえわかりません。「ベイジアン回帰」はありますか？それはどのように見えるでしょうか？私が想像できるのは、Frequentistがデータについて考え、目で見て、ポアソン分布を見てGLMを実行している間に、基礎となる分布を何度も推測することです。（これは批判ではありません...私は本当に理解していません！） だから..いくつかの基本的な例が役立つでしょうか？そして、私のような本物の初心者向けの実用的な参考資料を知っているなら、それも非常に役立つでしょう！

16 bayesian  frequentist