事前に共役を持っている：深い特性または数学的な事故？

一部の分布には共役事前分布があり、一部の分布にはありません。この区別は単なる事故ですか？つまり、あなたは数学を行い、それは何らかの方法でうまくいきますが、事実自体を除いて分布について何も重要なことを本当に教えてくれませんか？

または、共役の事前の有無は、分布のより深い特性を反映していますか？共役事前分布を持つ分布は、他の興味深い分布を共有し、他の分布ではなく、それらの分布が共役事前分布を持つようにしますか？

bayesian mathematical-statistics conjugate-prior

さて、正規の指数族のメンバーとして記述できる分布は、事前に共役でなければならないことを知っておく必要があります。

共役事前分布がないことが明確に示されている興味深い分布のクラスを知っていますか？既知のCPを持つ3つ以上のパラメーターを持つ分布はほとんどありませんが、これらが存在しないことを知っているのか、それとも見つからなかったのかはわかりません。

— -andrewH

面白い。これは、同じパラメトリックファミリで、事後の前を輸送するオペレータのプロパティと見なすことができます。さらに興味深いことに、おそらく、それはトリプレットのクロージャープロパティ（事前分布、サンプリング分布、ベイズ更新演算子）として見ることができます。

— ジョンロス

@JohnRos。あなたの考え方が好きです。

— -andrewH

冒頭の文に関しては、すべての質量をパラメータ空間の単一の値に置くという、事前の些細なケースに注意してください（推論を行うのにはあまり役に立たないでしょう？）。ベイズの定理は、これらがすべてのモデルの共役事前分布であることを示しています。もちろん、それらは「固定されたアイデア」を持つ誰かの事前知識を表します。

— 禅

回答:

偶然ではありません。ここで、共役事前分布に関する非常に素晴らしいレビューを簡単に見つけることができます。具体的には、与えられた尤度関数に対して固定次元の十分な統計のセットが存在する場合、その前に共役を構築できることに言及しています。十分な統計のセットがあると、計算の効率的な方法でパラメーターを推定できる形式で尤度を因数分解できることを意味します。

それに加えて、共役事前分布を持つことは、計算上便利なだけではありません。また、平滑化を提供し、非常に少ないサンプルで、または以前のサンプルなしで作業できるようにします。これは、証拠が非常に少ない場合の意思決定などの問題に必要です。

— jpmuc
ソース

私はベイジアン統計は非常に新しいですが、これらの分布のすべて（および少なくともすべてではないにしても、少なくとも有用な分布）は、それらを定義する観測に関するいくつかの限定されたメトリックによって記述されるプロパティを共有しているように思われます。つまり、正規分布の場合、すべての観測に関する詳細をすべて知る必要はなく、合計数と合計だけを知る必要があります。

別の言い方をすれば、分布のクラス/ファミリーを既に知っていると仮定すると、分布は、結果として得られた観測値よりも厳密に低い情報エントロピーを持ちます。

これは簡単なように見えますか、それともあなたが探しているもののようなものですか？

— ファビオ・ベルトラミニ
ソース

「深い」プロパティとは、非常に主観的な問題です。そのため、答えは「深い」という概念に依存します。しかし、ある意味で共役事前分布を持つことが「深い」特性である場合、その意味は数学的であり、統計的ではありません。（一部の）統計学者が共役事前確率に興味を持っている唯一の理由は、彼らがいくつかの計算を単純化するということです。しかし、それは過ぎ去る毎日にとってそれほど重要ではありません！

 EDIT

$h$ $[0,1]$ $f(p;\alpha,\beta)$ $h(p)f(p;\alpha,\beta)$

E {E (θ ∣ X = x)} = a x + b

$\DeclareMathOperator{\E}{\mathbb{E}} \E \left\{ \E (\theta \mid X=x)\right\} = ax+b$

a, b

$a,b$

$\text{prior}\times\text{likelihood}$ リストされた（通常の）共役族のパラメーターに対する事前のデータ解釈。

したがって、要約すると、指数関数族の通常の共役群は、線形手法につながる事前分布として、または事前データを表すことから生じる事前分布として正当化することができます。この詳細な回答がお役に立てば幸いです！

— Kjetil B Halvorsen
ソース

これは本当にコメントであり、答えではなく、@ kjetilです。回答に仕上げるか、コメントに変換する必要があります。

— GUNG -復活モニカ

@gung私はこの回答をコメントに変換することを嫌がります。なぜなら、それは答えとして解釈できるようだからです。共役事前の存在は、計算を単純化すること以外はほとんど重要ではないと断言します。（その主張の有効性に異議を唱える理由があるかもしれないと思うが、間違っていることは答えないことと同じではない！）

— whuber

@whuber：計算の単純さ以外の理由は何ですか？私は... anservに拡大しようとします

— はKjetil bはHalvorsenの

関係の明示的な数学的定式化は分析および理解できるものであるのに対し、単なる計算結果は単なるそれであり、結果は一般的に一般化可能な洞察を提供しないためです。これは、運転方向を示す音声のみのGPSデバイスを使用するのと比較して、学習と学習が可能な国の地図を作成することの違いに似ています。両方とも、ある地点から別の地点に移動しますが、前者は、運転している空間についてより多くを教えてくれます。

— whuber