ベイジアンモデルとは正確には何ですか？

34

ベイズの定理が使用されているモデルを「ベイジアンモデル」と呼ぶことはできますか？このような定義は広すぎるかもしれません。

では、ベイジアンモデルとは正確には何ですか？

machine-learning bayesian

— シブスギャンブル
ソース

9

ベイジアンモデルは、事前x尤度=事後x限界のペアで構成される統計モデルです。ベイズの定理は、事前の概念にやや二次的です。

— 西安

18

本質的に、推論はベイズの定理を使用して、関連する未知のパラメーターとモデルからの尤度の事前分布に基づいて、あるモデル（パラメーター値など）からの関心量の事後分布を取得することに基づいています。

すなわち、何らかの形の分布モデルおよび事前、誰かが事後を取得しようとするかもしれません。 $f(X_i|\mathbf{\theta})$ $p(\mathbf{\theta})$ $p(\mathbf{\theta}|\mathbf{X})$

ベイジアンモデルの簡単な例は、この質問で説明されています。このベイジアン線形回帰のコメントでは、Wikipedia で詳細が説明されています。。。検索では、ここで多くのベイジアンモデルの議論が行われます。

しかし、単にモデルに適合するだけでなく、ベイジアン分析でやろうとする他のことがあります-例えば、ベイジアン決定理論を参照してください。

— Glen_b -Reinstate Monica
ソース

線形回帰では、

ここでは、ベクトルに等しい

？そうでない場合、それは何ですか？

θ

$\theta$

[β_{0}, β_{1}, . . ., β_{n}]

$[\beta_0, \beta_1, ..., \beta_n]$

— BCLC

1

@BCLC通常、

も含まれます。

σ

$\sigma$

— Glen_b-モニカの復活

1

@BCLC頻度主義者とベイジアンの推論を混同しているようです。ベイジアン推論は、興味のある量に焦点を当てています。パラメーターに興味がある場合（特定の係数に関する推論など）、事後分布[パラメーター|データ]を探すことが考えられます。（平均機能であなたしている興味を持っている場合

）、あなたは（もちろんの（多変量）分布の関数であることのための事後分布を求めると

）。あなたの推定でOLSを使用するかもしれませんが、事後のパラメータは、前だけシフトされます...

μ_{Y} | X

$\mu_Y|X$

β

$\mathbb{\beta}$

— Glen_b -Reinstateモニカ

1

... ベイジアン回帰に関するウィキペディアのページとCVに関するここでの議論の一部を参照してください

— Glen_b -Reinstate Monica

1

その計算は時々（あなたはそれが呼ばれるかどうかに来る

または

様々な理由のために、）。私の以前のコメントは、その計算と矛盾するものではありません。

（または同等

または

）パラメータであり、そして、あなたは他のパラメータと一緒にそれに対処しなければなりません。ただし、

を知っていることはまれです。たとえば、ギブスサンプリングを実行している場合、条件が関連します。あなただけに推論をしたい場合は

、あなたが統合したい

（または

など）から

条件ではなく

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

β

$\beta$

σ

$\sigma$

σ^{2}

$\sigma^2$

θ | y

$\theta|y$

σ

$\sigma$ 。

— Glen_b -Reinstate Monica

11

ベイジアンモデルは、事後分布から推論を引き出すモデルです。つまり、ベイズの定理によって関連付けられた事前分布と尤度を利用します。

— シコラックス、モニカを復職させる
ソース

7

ベイズの定理が使用されているモデルを「ベイジアンモデル」と呼ぶことはできますか？

いや

このような定義は広すぎるかもしれません。

あなたが正しいです。ベイズの定理は、限界事象確率と条件付き確率との正当な関係です。確率の解釈に関係なく保持されます。

では、ベイジアンモデルとは正確には何ですか？

前と後を使用している場合あなたの博覧会や解釈のどこにでも概念をこれらの概念も近づい非ベイズで使用されているので、それから、あなたはモデルベイズを使用する可能性が高いですが、これは絶対的なルールではありません。

より広い意味では、主観的信念としての確率のベイジアン解釈に同意しなければなりません。ベイズのこの小さな定理は、この全体の世界観とさえ、私が言うもの、に拡張し、何人かの人々によって延伸した哲学。このキャンプに所属している場合、あなたはベイジアンです。ベイズは、これが彼の定理に起こるとは考えていませんでした。彼は恐ろしいと思います。

— アクサカル
ソース

4

これは、その最初の行で行われた重要なポイントを紹介する最初の答えであるように見えます。ベイズの定理を単に使用しても、ベイジアンモデルにはなりません。この考えをさらに進めることをお勧めします。「前の概念と後の概念を使用する」がモデルのベイジアンになると言うところまでさかのぼります。それは単純にベイズの定理を再び適用することになりませんか？そうでない場合、この文章の「概念」が意味することを説明できますか？結局のところ、古典的（非ベイジアン）統計では、事前確率と事後確率を使用して、多くの手順の許容性を証明しています。

— whuber

@whuber、それはより単純な経験則に似ていました。私が論文で「前」を見るときはいつでも、それは結局ベイジアンの観点からであると主張することになります。ただし、私のポイントを明確にします。

— アクサカル14

5

統計モデルは、データがどのようになったかを説明する手順/ストーリーとして見ることができます。ベイジアンモデルは、確率を使用してモデル内のすべての不確実性、つまり出力に関する不確実性と、モデルへの入力に関する不確実性（別名パラメーター）の両方を表す統計モデルです。事前/事後/ベイズの定理全体がこれに続きますが、私の意見では、すべてに確率を使用することがベイジアンになります（そして実際、より良い単語はおそらく確率モデルのようなものになります）。

つまり、他のほとんどの統計モデルは、あらゆる場所で確率を使用するように変更することにより、ベイジアンモデルに「キャスト」できます。これは、最尤モデルフィッティングがベイジアンモデルフィッティングの厳密なサブセットであるため、最尤モデルに特に当てはまります。

— ラスマス・バース
ソース

MLEが使用され、ベイジアンモデルの外部で開発されたため、「ベイジアンモデルへの厳密なサブセット適合」という意味は明確ではありません。

— アクサカル14

ベイズの観点から見ると、MLEは、平坦な事前分布を仮定し、モデルに適合し、最も可能性の高いパラメーター構成をポイント推定値として使用した場合に得られるものです。これがベイジアンの「統計の哲学」の特殊なケースであるかどうかは、他の人に話し合うことを任せますが、確かにベイジアンモデルフィッティングの特殊なケースです。

— ラスマスバース2014

このステートメントの問題は、MLEを使用するために、ある種のベイジアン思考にサブスクライブする必要があるという印象を残すことです。

— アクサカル14

1

どういう意味かわかりません。IMOでは、ベイジアン統計を使用するときにベイジアン思考にサブスクライブする必要はありませんが、線形代数を使用するときにマトリックス思考にサブスクライブする必要があるか、正規分布を使用するときにガウス思考にサブスクライブする必要があります。また、MLE がベイジアンモデルのあてはめのサブセットとして解釈される必要があると言っているわけではありません（私にとっては自然なことですが）。

— ラスマスバース2014

3

あなたの質問は意味論的側面にあります：モデルをいつ「ベイジアン」と呼ぶことができますか？

この優れた論文から結論を導き出します。

Fienberg、SE（2006）。ベイジアン推論はいつ「ベイジアン」になりましたか？ベイジアン分析、1（1）：1-40。

2つの答えがあります：

あなたのモデルは、ベイズの規則（「アルゴリズム」）を使用している場合、最初のベイジアンです。
さらに広く言えば、システムの生成モデルから原因を推測（隠蔽）した場合、あなたはベイジアン（「関数」）です。

驚くべきことに、フィールド全体で使用されている「ベイジアンモデル」の用語は、60年代ごろに定着しました。機械学習については、その歴史を見るだけで多くのことを学ぶことができます！

— メドゥーズ
ソース

「2つの答え」の1つだけに言及しているようです。たぶん、両方について何かを書く？

— ティム

メモのおかげで、回答を編集して文章の2つの部分を分離しました。

— meduz