ロジスティック関数で変換されたガウス確率変数の期待値

通常、ロジスティック関数と標準偏差はどちらも表され$\sigma$ます。標準偏差には$\sigma(x) = 1/(1+\exp(-x))$と$s$を使用します。

私はランダムな入力を持つロジスティックニューロンを持っています。その平均$\mu$と標準偏差$s$は知っています。平均との差がガウスノイズで近似できることを願っています。したがって、表記を少し乱用して、生成すると仮定します$\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$。σ （N （μ 、s 2））の期待値は何ですか？$\sigma(N(\mu,s^2))$標準偏差$s$は、$\mu$またはと比較して大きい場合と小さい場合があります$1$。期待値の適切な閉じた形の近似は、閉じた形の解とほぼ同じです。

閉じた形のソリューションは存在しないと思います。これは、畳み込みとみなすことができ、およびロジスティック密度のための特徴的な機能が知られている（）が、私は確かにそれがどのように役立つかあまりないです。逆シンボリック計算機はで密度を認識することができませんでした0ロジスティック分布の密度の畳み込みと示唆しているが、単純な基本整数が存在しないことを証明しない標準正規分布、の。より状況証拠：ロジスティックニューロンを含むニューラルネットワークにガウス入力ノイズを追加することに関するいくつかの論文では、これらの論文は閉形式の式も提供していませんでした。$\pi t ~\text{csch} ~\pi t$$0$

この質問は、ボルツマンマシンの平均場近似の誤差を理解しようとするときに生じました。

以下は私が最終的に使用したものです：

$\sigma(N(\mu,s^2)) = \sigma(\mu + X)$$X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

収束の問題があります。ロジスティック関数には極があり、なので、、奇数です。発散は、プレフィックスが役に立たないことと同じではありませんが、が有意である場合、この系列近似は信頼できない可能性があります。$\exp(-x) = -1$$x = k \pi i$$k$$P(|X| \gt \sqrt{\mu^2 + \pi^2})$

以来、我々は、誘導体書き込むことができるの多項式として。たとえば、 andです。係数はOEIS A028246に関連しています。$\sigma'(x) = \sigma(x) (1-\sigma(x))$$\sigma(x)$$\sigma(x)$$\sigma'' = \sigma-3\sigma^2+2\sigma^3$$\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

ここにあるのは、ロジット正規（またはロジスティック正規）分布に従うランダム変数です（ウィキペディアを参照）。つまり、です。ロジット正規分布のモーメントには、解析解がありません。$\mbox{logit}[x] \sim N(\mu, s^2)$

しかしもちろん、数値積分によってそれらを得ることができます。Rを使用する場合、必要なものがすべて含まれているlogitnormパッケージがあります。例：

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

これにより、

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

そのため、平均と分散を直接提供する便利な関数さえあります。