ベイジアン対最大エントロピー

推論したい量が確率分布であると仮定します。私たちが知っているのは、分布が、たとえばその瞬間のいくつかによって決定された集合からのものであり、以前のです。 $E$ $Q$

最大エントロピー原理（MEP）は、からの相対的エントロピーが最も少ない（つまり、）は選択するのに最適です。一方、ベイズの選択規則には、ベイズの定理によってサポートされている事前分布を考慮して事後を選択するプロセスがあります。 $P^{\star}\in E$ $Q$ $P^{\star}=\displaystyle \text{argmin}_{P\in E}D(P\|Q)$

私の質問は、これら2つの推論方法の間に関係があるかどうか（つまり、2つの方法が同じ問題に適用され、共通点があるかどうか）です。または、ベイジアン推論での設定が上記の設定と完全に異なるかどうか。それとも意味がありませんか？！

bayesian estimation maximum-entropy

— アショク
ソース

QはE上の分布ですか？

— Simon Byrne

質問するつもりですか、

Q \in E

$Q\in E$ ですか？する必要はありません。

— Ashok

この質問は役に立ちます：stats.stackexchange.com/q/4978/495

— Simon Byrne

ロビン、実は私はベイジアン推論法を完全に知らないのです。そうでなければ、この質問は私には起こらなかっただろう。今、私はベイジアンについて学ぶ時間を見つけようとしています。私が知っていたのは（大まかに）、事前情報と追加情報が与えられた場合にベイズの定理を使用すると、確率を更新できるということです。私はこれを厳密に知りません。MaxEntが何を意味するのか私は厳密に知っています。可能であれば、ベイジアン推論を厳密に学習するように説明するか、参考にしてください（つまり、参照を示してください）。ありがとうございました。

— アショク

@Ashokが最も頻繁に検索する接続は、その極値点の確率測度を持つ凸集合の説明から生じます（Choquet Theory）。

— ロビンギラード

これは遅くなるかもしれませんが、質問は言い換える必要があります：Jaynesによって定義されているように、最大エントロピーは、（a）によって課された制約を満たし、（b）に対して最大エントロピーをもつ事前分布を構築する方法です連続的な場合の参照メジャー：したがって、（Jaynesの）最大エントロピーは明らかにベイジアンツールボックスの一部です。アショクの質問で示唆されているように、最大エントロピー事前分布は、真の事前分布に最も近い事前分布を提供しません。 $E$

\int - \log [π (θ)] d μ (θ) .

$\int -\log [ \pi(\theta) ] \text{d}\mu(\theta)\,.$

分布に関するベイジアン推論は、まったく異なる問題であり、ベイジアンノンパラメトリックによって処理されます（たとえば、Hjortらによる最近の本を参照）。からの観察が必要ですが、これは現在の質問の設定ではないようです... $Q$ $Q$

— 西安
ソース