パラメーターと潜在変数


13

私はこれについて以前に尋ねましたが、何がモデルパラメータを作り、何が潜在変数を作るのかを特定することに本当に苦労してきました。このサイトのこのトピックに関するさまざまなスレッドを見ると、主な違いは次のように思われます。

潜在変数は観察されませんが、変数であり、パラメータも観察されず、それらに関連する分布がないため、関連する確率分布があります。これらは定数であり、固定しようとしている未知の値を持っていると理解しています見つける。また、パラメーターに関連付けられた真の値が1つだけであるか、少なくともそれが想定されている場合でも、これらのパラメーターに関する不確実性を表すためにパラメーターに事前分布を置くことができます。私はこれまでのところ正しいと思いますか?

今、私はジャーナル論文からベイジアン加重線形回帰のこの例を見ており、パラメーターと変数とは何かを理解するのに本当に苦労しています:

y=βTバツ+ϵy

ここでは、yが観察されますが、yのみが変数として扱われます。つまり、それに関連付けられた分布があります。バツyy

現在、モデリングの前提は次のとおりです。

yNβTバツσ2/w

したがって、の分散は重み付けされます。y

また、およびwには事前分布があり、それぞれ正規分布とガンマ分布です。 βw

したがって、完全な対数尤度は次のように与えられます。

ログpywβ|バツ=ΣログPy|wβバツ+ログPβ+ΣログPw

今、私が理解しているように、wは両方ともモデルパラメータです。しかし、論文では、彼らを潜在変数と呼んでいます。私の推論はβであり、wは両方とも変数yの確率分布の一部であり、モデルパラメータです。ただし、著者はそれらを潜在的なランダム変数として扱います。あれは正しいですか?もしそうなら、モデルのパラメーターは何でしょうか?βwβwy

論文はここにあります(http://www.jting.net/pubs/2007/ting-ICRA2007.pdf)。

この論文は、Ting et al。による自動異常値検出:ベイジアンアプローチです。


2
論文への引用をリストするのに役立つかもしれません(そしておそらくリンク)。問題の一部は、これらが、フリークエンティストとベイジアンの観点からまったく異なるということです。ベイジアンの観点から見ると、パラメーターに分布あります。不確実性を表すために追加されたものではありません。
GUNG -復活モニカ

人々は物事を説明せずに論文を読むことを期待していると思うので、それは不公平だと思いましたが、私は今それを置きました。
ルカ

なぜ潜在変数に事前分布を付けられないのですか?私はベイジアン初心者ですが、それができるはずです。
robin.datadrivers

wβw

2
ありがとう、@ Luca。論文を読むように人々に要求するのは良くありませんが、文脈のためにそこにそれを持っているのは良いことです。あなたはこれを正しくやったと思います。
GUNG -復活モニカ

回答:


6

yβ

一方、パラメータの値がわからなくても、パラメータは固定されています。たとえば、最尤推定は、パラメーターの最も可能性の高い値を提供します。ただし、固定されたものにはディストリビューションがないため、完全なディストリビューションではなくポイントを提供します!(この値についての確信度、またはこの値の範囲に分布を置くことができますが、これは、値が実際にランダムである場合にのみ存在する値自体の分布とは異なります変数)

ベイジアン設定では、それらすべてを使用できます。ここで、パラメーターはクラスターの数などです。この値をモデルに与えると、モデルは固定値と見なします。yβwyβwy

βw

この文では:

これらの更新式は、すべてのパラメーターと完全な対数尤度が定常値に収束するまで繰り返し実行する必要があります

理論的には、ランダム変数のパラメータではなく、2つのパラメータについて説明します。EMでは、これがパラメータの最適化を行うためです。


問題は潜在変数についてでした。
ティム

修正され、今より明確になっていることを願っています。
アルベルト
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.