ベイジアンロジットモデル-直感的な説明?


11

私は以前、学部生や卒業生のクラスでその用語を聞いたことがないことを告白しなければなりません。

ロジスティック回帰がベイジアンであるとはどういう意味ですか?次のような通常のロジスティックからベイジアンロジスティックへの移行に関する説明を探しています。

これは、線形回帰モデルでの式である:E(y)=β0+β1x1+...+βnxn

これはロジスティック回帰モデルの方程式です:。これは、yがカテゴリカルの場合に行われます。ln(E(y)1E(y))=β0+β1x1+...+βnxn

私たちが行っていることは、変更されるのln E Y E(y)ln(E(y)1E(y))

では、ベイジアンロジスティック回帰のロジスティック回帰モデルはどうなりますか?方程式とは関係ないのではないかと思います。

この本のプレビューは定義しているようですが、私にはよくわかりません。この以前の可能性のすべては何ですか?とは?本の一部またはベイジアンロジットモデルを別の方法で誰かが説明してもらえますか?α

注:これは以前に尋ねられましたが、あまりよく答えられていないと思います。


1
@Timでほとんどカバーされていると思うので、これを答えにしたくありません。ベイジアンロジスティック回帰およびベイジアン一般化線形モデル(GLM)では、より一般的には、それ以外の点で欠けている唯一のことは、事前分布は係数だけでなく、それらの係数の分散および共分散にも適用されるということです。GLMへのベイジアンアプローチの主な利点の1つは、係数の共分散に対して複雑なモデルを指定し、多くの場合はフィッティングすることの優れた扱いやすさであるため、これは非常に重要です。
Brash Equilibrium 2015

2
βX

1
事前に十分に公正。
Brash Equilibrium 2015

1
とはいえ、共分散についてはまだ事前に存在します!!!!!! あなたがそれを議論しないなら、あなたはロジスティック回帰がどのように完全に機能するかについて説明していません。
Brash Equilibrium 2015

回答:


19

ロジスティック回帰は、線形結合として説明できます

η=β0+β1X1+...+βkXk

g

g(E(Y))=η

ここで、リンク関数はロジット関数です

E(Y|X,β)=p=logit1(η)

Y{0,1}η

E(Y)=P(Y=1){0,1}E(Y|X,β)P(Y=1|X,β)P(Y=1|X,β)pY

yiBernoulli(p)

βXηE(Y|X,β)=ηY{0,1}η[0,1]

βiηpY

tβiμiσi2

model {
   # setting up priors
   a ~ dnorm(0, .0001)
   b ~ dnorm(0, .0001)

   for (i in 1:N) {
      # passing the linear combination through logit function
      logit(p[i]) <- a + b * x[i]

      # likelihood function
      y[i] ~ dbern(p[i])
   }
}

ご覧のように、コードはモデル定義に直接変換されます。ソフトウェアが行うことは、aおよびの正規分布からいくつかの値を描画しb、それらの値を使用して推定しp、最後に尤度関数を使用して、これらのパラメーターが与えられたデータの可能性を評価します(これはベイズの定理を使用する場合です。ここを参照してください)詳細な説明)。

βiΣ

(β0β1βk)MVN([μ0μ1μk],[σ02σ0,1σ0,kσ1,0σ12σ1,kσk,0σk,1σk2])

...しかし、これは詳細に入るので、ここで終了しましょう。

ここでの「ベイズ」の部分は、事前確率を選択し、ベイズの定理を使用して、確率論的にモデルを定義しています。ここを参照してください「ベイズモデル」の定義は、ここでいくつかのためのベイズ的アプローチに関する一般的な直感。また、このアプローチを使用すると、モデルの定義が非常に簡単で柔軟性があることにも気づくでしょう。


Kruschke、JK、Aguinis、H.&Joo、H.(2012)。時が来ました:組織科学におけるデータ分析のためのベイズの方法。 組織研究方法、15(4)、722-752。

Gelman、A.、Jakulin、A.、Pittau、GM、およびSu、Y.-S。(2008)。ロジスティックモデルおよびその他の回帰モデルの、情報量の少ないデフォルトの事前分布。 応用統計の年報、2(4)、1360–1383。


1
係数だけでなく、分散の証明も必要です。
Brash Equilibrium 2015

3
gηη=β0+β1X1gE(Y)=η

1
@BCLCは私の回答のリンクをチェックします。これらはベイジアン統計全般の概要を提供します。これは、最初の質問で述べたより広範なトピックですが、私の回答で提供した参考文献に優れた紹介があります。
ティム

1
@ティム私はそこにタイプミスをしました。証明は事前に読むことになっています。基本的に、未知のパラメータは係数だけではありません。多項分布には分散共分散行列もあり、通常は既知であるとは想定していません。
Brash Equilibrium 2015

3
「ここでの「ベイズ」の部分は、事前確率を選択し、ベイズの定理を使用し、確率論的にモデルを定義することです。」ここでの良い参照は、Gelman et alです。LOGISTICおよびその他の回帰モデルFOR Aの弱INFORMATIVEのDEFAULT事前分布stat.columbia.edu/~gelman/research/published/priors11.pdf
ダルトンハンス

6

この以前の可能性のすべては何ですか?

それがベイジアンを作る理由です。データの生成モデルは同じです。違いは、ベイズ分析が対象となるパラメータの事前分布を選択し、すべての推論の基になる事後分布を計算または近似することです。ベイズの法則は2つを関連付けます。事後は、前の尤度時間に比例します。

β

一部の頻出モデルは、特定の事前分布を持つベイジアンモデルに関連している可能性がありますが、この場合はどちらが対応するかわかりません。


βββ1,β2,...,βnX1X2Xnβ

1
@BCLCそれらに答えるために、私はベイジアン推論の裸のプロセスから始めて、私が行くにつれて用語を定義します:ベイジアンは関心のあるすべてのパラメーターをランダム変数として扱い、これらのパラメーターについての信念をデータに照らして更新します。事前分布は、データを分析する前に、パラメータについての彼らの信念を表現します。*事後分布* —ベイズの法則により、事前および尤度の正規化された積—は、事前およびデータに照らしてパラメーターに関する不確実な信念を要約します。後部の計算は、フィッティングが行われる場所です。
ショーンイースター

1
βpp

さて、チャンスの教義の問題を解決するためのエッセイを読んだ後、私はあなたをよりよく理解すると思います。ありがとうSeanEster
BCLC

1
P(B)
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.