ベータ分布とロジスティック回帰モデルの関係は何ですか？

私の質問は次のとおりです。ベータ分布とロジスティック回帰モデルの係数の数学的な関係は何ですか？

例として、ロジスティック（シグモイド）関数は

f (x) = \frac{1}{1 + \exp (- x)}

$f(x) = \frac{1}{1+\exp(-x)}$

また、ロジスティック回帰モデルで確率をモデル化するために使用されます。ましょ $A$ 二分である $(0,1)$ 採点結果と $X$ デザインマトリックス。ロジスティック回帰モデルは次で与えられます

P (A = 1 | X) = f (X β) .

$P(A=1|X) = f(X \beta).$

注 $X$ 一定の最初の列有する $1$ （切片）及び $\beta$ 回帰係数の列ベクトルです。例えば、我々は1（標準正常）回帰を有する場合 $x$ 選択します $\beta_0=1$ （切片）および $\beta_1=1$ 、我々は、得られる「確率分布」をシミュレートすることができます。

このプロットは、ベータ分布を思い出させます（他の選択のプロットと同様 $\beta$ ）。その密度は

g (y; p, q) = \frac{Γ (p) Γ (q)}{Γ (p + q)} y^{(p - 1)} (1 - y)^{(q - 1)} .

$g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}.$

最尤法またはモーメント法を使用して、の分布から $p$ およびを推定することができます。したがって、私の質問は次のようになります：とと選択の関係は何ですか？これは、そもそも上記の2変量の場合を扱います。 $q$ $P(A=1|X)$ $\beta$ $p$ $q$

— トムカ
ソース

私はベイジアン統計クラスでこれを3時間前に疑問に思っていました

— 錬金術師

回答:

ベータ版は、内の値の分布であるので、ほとんどのため、それの形で非常に柔軟性のある範囲の任意の値の単峰性経験分布あなたは簡単なベータ分布する「似ている」形状のパラメータを見つけることができます分布の。 $(0,1)$ $(0,1)$

ロジスティック回帰により条件付き確率が得られることに注意してください。一方、プロットでは予測確率の周辺分布を示しています。これらは2つの異なる話です。 $\Pr(Y=1\mid X)$

ロジスティック回帰モデルからの予測の分布を調べる場合、ロジスティック回帰パラメーターとベータ分布のパラメーターの間に直接的な関係はありません。以下に、ロジスティック関数を使用して変換された正規分布、指数分布、均一分布を使用してシミュレートされたデータを示します。ロジスティック回帰の正確に同じパラメータを使用して（すなわち、他に）、予測された確率の分布が非常に異なっています。したがって、予測確率の分布は、ロジスティック回帰のパラメーターだけでなく、の分布にも依存し、それらの間に単純な関係はありません。 $\beta_0 = 0, \beta_1 = 1$ $X$

ベータ内の値の分布であることから、ロジスティック回帰を行うようにバイナリデータをモデル化するために使用することができません。ベータ回帰を使用するような方法で、確率のモデル化に使用できます（こちらとこちらもご覧ください）。したがって、確率（確率変数として理解される）の動作に興味がある場合は、そのような目的でベータ回帰を使用できます。 $(0,1)$

— ティム
ソース

したがって、Betaがそのような分布を近似できる場合、そのパラメーターと

間に関係があるべきではないでしょうか？

β

$\beta$

— トムカ

@tomkaしかし、分布は、データの分布に依存し、そうであっても、パラメータにそのような関係であることは非常に複雑なものだが存在します。回帰パラメータとベータ分布のパラメータの間に直接的な関係は明らかにありません。

異なる分布を使用して同じパラメーターの下でロジスティック回帰予測をシミュレートしてみてください。周辺分布はそれぞれの場合で異なります。

X

$X$

— ティム

ベータ分布はそれほど柔軟ではありません。マルチモーダル分布を近似することはできません。

— マーカスPS

@MarcusPS私はそれをより明確にしました。

— ティム

0と1のモードとマルチモーダル分布の特別な場合を除いて@MarcusPS ...

— ベンBolker

ロジスティック回帰は、一般化線形モデル（GLM）の特殊なケースです。バイナリデータのこの特定のケースでは、ロジスティック関数は、手元の非線形回帰問題を線形問題に変換する正準リンク関数です。GLMは、指数ファミリーの分布（2項分布など）にのみ適用されるという意味で、やや特殊です。

ベイジアン推定では、ベータ分布は二項分布の前の共役です。つまり、二項観測によるベータ事前へのベイジアン更新は、ベータ後になることになります。したがって、バイナリデータの観測値のカウントがある場合は、ベータ事前分布を使用して、二項分布のパラメーターの分析的ベイズ推定値を取得できます。

だから、他の人が言ったことの線に沿って、私は直接的な関係はないと思いますが、ベータ分布とロジスティック回帰の両方は、二項分布に続く何かのパラメータの推定と密接な関係があります。

— マーカスPS
ソース

すでにベイジアンの観点に言及するために+1しましたが、回帰モデルの場合、ベータ二項モデルを使用せず、一般的にベータ分布はパラメーターの事前分布として使用されないことに注意してください-少なくとも典型的なベイジアンロジスティックの場合回帰。したがって、これはベータ二項モデルに直接変換されません。

— ティム

$P(A=1|X)$ $X$ $X$ $N(0,1)$ $\exp(-X\beta)$ $\mu=-1$ $\beta_0=\beta_1=1$ $P(A=1|X)$

F (x) = 1 - Φ [\ln (\frac{1}{x} - 1) + 1],

$F(x)=1-\Phi\left[\ln\left(\frac{1}{x}-1\right)+1\right],$ inverse c.d.f.

Q (x) = \frac{1}{1 + \exp (Φ^{- 1} (1 - x) - 1)},

$Q(x)=\frac{1}{1+\exp(\Phi^{-1}(1-x)-1)},$ and p.d.f.

f (x) = \frac{1}{x (1 - x) \sqrt{2 π}} \exp (- \frac{(\ln (1 / x - 1) + 1)^{2}}{2}),

$f(x)=\frac{1}{x(1 - x)\sqrt{2\pi}}\exp\left(-\frac{(\ln(1/x-1)+1)^2}{2}\right),$ which do not resemble those of Beta distribution.

You can verify the results given above in R:

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

— Francis
ソース

x

$x$ is indeed standard-normal (I made an edit). Your density

f (x)

$f(x)$ has support over

[- inf, inf]

$[-\inf, \inf]$ , whereas the density of

P (A | X)

$P(A|X)$ should have support only on

[0, 1]

$[0,1]$ . In fact your

f (x)

$f(x)$ should be the standard normal. In other words you have not yet shown the distribution of

P (A | X)

$P(A|X)$ .

— tomka

@tomka Logarithm put

1 / x - 1 > 0

$1/x-1>0$ , so

x \in (0, 1)

$x\in(0,1)$ . Also

f

$f$ is not pdf of standard normal, note the denominator.

— Francis

Why would the CLT have any applicability to the distribution of a regressor variable

X

$X$ ??

— whuber

@whuber: looks like I have mistaken something, I removed that part.

— Francis