どのように？

8

最近、最尤推定量とベイジアン統計について読み始めました。統計モデルが与えられた場合、は大きなパラメーター空間に属し、と間のKL発散（は真見つけたいパラメーター）は、を最大化するに対して最小化されます。イベントが独立して同一に分布していると仮定すると、これは、結合確率を最大化することになり $(X, (P_\theta))$ $\theta$ $\Theta$ $P_\theta$ $P_\theta*$ $\theta^*$ $\theta$ $\prod_{i=1}^{n}p_\theta(X_i)$ $P[X_1=x_1, X_2=x_2, ...,X_n=x_n].$ （独立性の仮定により、これを個々の要素の積と同等と見なすことができます）

ベイズアプローチは、分布の事前信念を占め、と最大にベイズ規則により、最大限に相当し、。ここまではわかった。この後、は「可能性」と呼ばれ、に置き換えられこれは、個々の確率の積です流通におけるXの。これは、が実際に、つまり、与えられた確率であることを意味しますか $\theta$ $P(\theta)$ $P(\theta|X)$ $P(X|\theta)P(\theta)/P(X)$ $P(X|\theta)$ $P[X_1=x_1, X_2=x_2, ...,X_n=x_n]$ $P_\theta$ $P[X_1=x_1, X_2=x_2, ...,X_n=x_n]$ $P_\theta[X_1=x_1, X_2=x_2, ...,X_n=x_n]$ $\theta$ 、またはそのようなもの？

私は確率と分布があまり得意ではありません。私の理解では、オブジェクトは条件付き確率と呼ばれ、オブジェクト（独立性によって等しい）は結合確率と呼ばれ、非常に異なるものです。著者がを最大確率での同時確率に使用する場合があるのを見てきました。結合確率と条件付き確率が等しいと見なされるのはなぜですか。 $P(X|\theta)$ $P[X_1=x_1, X_2=x_2, ...,X_n=x_n]$ $\prod_{i=1}^{n}p_\theta(X_i)$ $P(X;\theta)$

probability bayesian maximum-likelihood

— ランジク
ソース

8

ここにはいくつかの問題があります：

古典的な統計では、使用されるすべての分布は暗黙的に条件としています。これは「不明な定数」と見なされます。ベイジアン分析では、不明な定数（不明なものは確率変数として扱われます）などはありません。代わりに、すべての確率ステートメントに明示的な条件ステートメントを使用します。 $\theta$
つまり、ベイズ分析では、サンプリング密度は、古典的な場合に参照したオブジェクトです。（尤度関数は、が固定されているとして、パラメーター関数として扱われるサンプリング密度です。）また、ベイジアン解析の密度は条件としないことを意味します。それは限界密度によって与えられるデータの： $P(X|\theta)$ $P_\theta(X)$ $\theta$ $X=x$ $P(X)$ $\theta$
$P (X) = \int_{Θ} P (X | θ) P (θ) d θ .$ $P(X) = \int \limits_{\Theta} P(X|\theta) P(\theta) \ d \theta.$ あなたの質問には、条件付けステートメントで少しずさんになって、データの条件付き分布と限界分布を疑わせる場所がいくつかあります。これは、古典的な統計では大きな問題ではありません（すべての確率ステートメントがパラメーターに暗黙的に条件付きであるため）、ベイズ分析では問題が発生します。
表記通常は古典的な統計で使用され、そして同じもの示すために使用される ---すなわち、それは暗黙的パラメータ与えられたデータの条件付き密度。ジョイント密度にこの表記を使用するのは珍しい（そして混乱する）でしょう。 $P(X ; \theta)$ $P_\theta(X)$
パラメータに関して事後分布を最大化するベイズ法は、最大事後推定（MAP）推定と呼ばれる点推定法です。これは、単一のポイント推定を提供するポイント推定方法です。MAP推定量よりも多くの情報が含まれているため、ベイジアンは通常、事後密度全体の保持にも関心があることに注意してください。

— ベン-モニカの復活
ソース

ベンを説明してくれてありがとう。2つ目は、誰かが露骨に言っていることを知りたかったことです。

— rranjik

古典統計とは何ですか？すべての確率分布がパラメーター化されていることを読んだのは初めてです。どこから読みましたか？

— nbro

@nbro：ある意味では、確率分布のクラスを常にいくつかの（十分に大きい）パラメータ空間にマッピングできるため、このステートメントは自明です。実際には、これが発生しない唯一の状況は、ノンパラメトリック統計を実行している場合です。他の場合では、古典的統計のモデルは、通常は実数のパラメーターを使用して、それらの参照として分布をパラメーター化します。

— ベン-モニカを

4

この回答では、簡略表記を使用します。古典的な統計を行っている場合、は確率変数ではありません。したがって、表記は、確率関数または確率のファミリーメンバーを表しています。ここで、はパラメーターですスペース。ベイジアン分析では、は確率変数であり、は条件付き確率関数または密度であり、可能な値ごとにに関する不確実性をモデル化します。実験を終えると、に関する不確実性はなくなります $\theta$ $p(x;\theta)$ $\{p_\theta(x)\}_{\theta\in\Theta}$ $\Theta$ $\theta$ $p(x\mid\theta)$ $x$ $\theta$ $x$ （それはあなたが知っているデータ/情報になります）そして、あなたはこの「固定された」データ、を関数として見る。この尤度関数は、古典的スタイルとベイジアンスタイルの推論の交差部分に存在します。私の意見では、ベイジアンの方法は条件付き独立性の観点からよりよく理解されています。ベルヌーイモデルの尤度関数を書き留めて検討することをお勧めします。それをグラフ化します。実験前後の意味を考えてみてください。ベイジアンは後部最大化すると述べました $p(x\mid \theta)=L_x(\theta)$ $\theta$ $x$ $L_x(\theta)$ $\pi(\theta\mid x)$ 。それは必ずしもそうではありません。事後分布を要約する他の方法があります。基本的に、選択される要約は、損失関数の導入に依存します。ロバートのベイジアンチョイスをチェックして、すべての悲惨な詳細を学んでください。

— 禅
ソース

1

パウロに感謝します。私は細部を自分で理解するほど賢くありませんでした！お時間をいただきありがとうございます。

— rranjik

1

どういたしまして。提案：モデルからランダムサンプルの確率密度と尤度関数を書き留めてグラフ化します。

x_{1}, \dots, x_{n}

$x_1,\dots,x_n$

U [0, θ]

$\text{U}[0,\theta]$

— 禅