最尤推定（MLE）とベイズの定理の比較

12

ベイジアン定理では、であり、私が読んでいる本から、は可能性が、私はそれだけだと仮定条件付き確率の与えられた、右？

p (y | x) = \frac{p (x | y) p (y)}{p (x)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

最尤推定最大化しようとし権利を、？もしそうなら、私はひどく混乱しています、は両方ともランダム変数ですから？を最大化するには、を見つけるだけです。もう1つの問題、これらの2つの確率変数が独立している場合、はだけですよね？次に、を最大化すると、最大化されます。 $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

あるいは、はいくつかのパラメータ関数、つまりであり、MLEは最大化できるを見つけようとしますか？または、が実際にはランダム変数ではなくモデルのパラメーターであっても、可能性を最大化するには？ $p(x|y)$ $\theta$ $p(x|y; \theta)$ $\theta$ $p(x|y)$ $y$ $\hat y$

更新

私は機械学習の初心者です。この問題は、機械学習のチュートリアルで読んだものと混同しています。ここでは、観測されたデータセット与えられた場合、ターゲット値はであり、このデータセットにモデルを適合させようとしますなので、与えられた場合、はによってパラメーター化されたという名前の分布の形式、つまりを持ち、これは事後確率であると思いますか？ $\{x_1,x_2,...,x_n\}$ $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ $p(y|x; \theta)$

次に、の値を推定するために、MLEを使用します。わかりました、ここに私の問題が来ます、可能性はだと思いますよね？可能性を最大化するということは、正しいとを選択する必要があるということです。 $\theta$ $p(x|y;\theta)$ $\theta$ $y$

可能性の理解が間違っている場合は、正しい方法を教えてください。

bayesian maximum-likelihood

— アボカド
ソース

混乱はこれだと思います。ベイズの定理は、質問の最初に与える条件付き確率の操作にすぎません。ベイズ推定は、パラメータ推定を行うためにベイズの定理を使用しています。後者のみです。最尤推定（MLE）を実行し、パラメーターthetaなどが機能します。

— Zhubarb 2013年

@Berkan、まあ私は実際に

与えられれば、どのような可能性があるかを理解しようとします。

x, y, θ

$x,y,\theta$

— アボカド

1

なるほど、パラメータの見積もりについては、このすばらしい一連の紹介講演スライドをご覧になることをお勧めします。

— Zhubarb 2013年

1

もう1つの優れたトピックは、Empirical Bayesの推定量です。私達はちょうど私のクラスのもの:)について学んだbiostat.jhsph.edu/~fdominic/teaching/bio656/labs/labs09/...

— bdeonovic

16

誤解の核心は、質問の前半で尋ねた質問にあると思います。私はこの答えにMLEとベイズの推論パラダイムを対比させてアプローチします。MLEの非常に親しみやすい議論は、ゲイリー・キングの統一政治的方法論の第1章にあります。ゲルマンのベイジアンデータ分析では、ベイジアン側の詳細を提供できます。

ベイズの定理では、と私が読んでいる本から、は尤度と呼ばれますが、それは与えられたの条件付き確率だと思いますよね？
$p (y | x) = \frac{p (x | y) p (y)}{p (x)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

尤度は条件付き確率です。ベイジアンにとって、この式は、データと以前の与えられた場合のパラメーター分布を表します。ただし、この表記はユーザーの意図を反映していないため、今後はパラメーターに（、）を使用し、データにを使用します。 $y$ $x$ $p(y)$ $\theta$ $y$ $x$

しかし、更新は、が何らかの分布から観察されることを示しています。データとパラメーターをベイズの規則の適切な場所に配置すると、これらの追加パラメーターはベイジアンに問題を引き起こさないことがわかります： $x$ $p(x|\theta,y)$

p (θ | x, y) = \frac{p (x, y | θ) p (θ)}{p (x, y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

この表現は、あなたがアップデートで求めているものだと思います。

最尤推定はを最大化しようとしますよね？ $p(x,y|\theta)$

はい。MLEは、つまり、扱います。

p (x, y | θ) \propto p (θ | x, y)

$p(x,y|\theta) \propto p(\theta|x,y)$

未知の（そして未知の）定数としての

。対照的に、ベイジアン推論は、

を正規化定数として扱い

確率が合計/統合されて1になるように）、

を主要な情報である事前分布として扱います。

は、最も可能性が高いと思われる領域から「離れすぎている」ための最適化手順にペナルティを課す方法と考えることができます。

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

もしそうなら、私はひどく混乱しています、はランダム変数ですから？最大化するためにちょうど見つけることです？ $x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

MLEにおいてであると仮定される固定未知であるが推測することが可能である量、ない確率変数。ベイズ推定は、を確率変数として扱います。ベイズ推論プット確率密度関数における確率密度関数を取得アウト MLEのようにではなく、モデルの点の要約を。つまり、ベイジアン推論は、パラメーター値の全範囲とそれぞれの確率を調べます。MLEの断定モデル与えられたデータを適切にまとめたものです。 $\hat{\theta}$ $\theta$ $\hat{\theta}$

— Sycoraxはモニカを復活させると言います
ソース

1

回答ありがとうございます。投稿を更新しました。更新をご覧ください。

— アボカド

この更新により、質問に対する私の理解が根本的に変わりました。最初は、

をパラメーター、

をデータと

ていたと思いました。これで、

はデータであるように見え、

と

関係を記述するモデルを構築することに関心があります。時間のあるときに応答を変更します。

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

— Sycoraxは、モニカ

+1これはすばらしい回答です。質問の変更に合わせて修正しても、ほとんどそのままにしておいてください。

— whuber

更新された質問を反映するように、返信を更新しました。これらの詳細がお役に立てば幸いです。私が言及している参考文献を参照することをお勧めします。そして、私は@whuberがまだ承認することを望みます。;-)

— Sycoraxは、モニカ

更新していただきありがとうございます。つまり、

の分布形式を取り上げましたが、

を推定しようとするときは

両方を観測データとして扱う必要がありますか？

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

— アボカド

3

$p(x|y)$ $y$

p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

または、より明確に（可能性の概念に関して）：

p (θ | x) = \frac{L (θ; x) p (θ)}{p (x)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

具体的な例として、モデルを考えてみましょう

X | θ \sim B i n o m i a l (θ) θ \sim B e t a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

— デビッドマルクス
ソース

y

$y$

x

$x$

Yは通常、Xの確率密度関数のパラメーターです。頻出設定では、yは通常、固定値です。ベイジアン設定では、Yはそれ自体がランダム変数です（例で示したように）。X | Yは、あなたが意味する意味で条件付き確率になることもあります。私は、その量が尤度と呼ばれる理由の背後にある動機を与えようとしていました。

— David Marx

θ

$\theta$

X

$X$

ランダム変数であるからといって、それがパラメーターではないという意味ではありません。ベイジアン確率の素晴らしい世界へようこそ:)

— デビッドマルクス

0

$p(x|y)$

$p(x|y)$ $x$ $y$

$p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

$p(x|y) = p(x)$ $p(x)$ $y$ $y$

$p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

$\theta$ $y$ $p(x|y;\theta)$ $\theta$

— パット
ソース

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$

0

STANリファレンスマニュアルから：

事前分布が均一である場合、事後モードはパラメーターの最尤推定（MLE）に対応します。事前分布が均一でない場合、事後モードは最大事後（MAP）推定と呼ばれることがあります。

— ニーラヴ
ソース