私は現在「機械学習のためのガウス過程」を研究しており、第3章では後 $p(y_*|X,\mathbf{y},\mathbf{x}_*)$ （eq。3.10）と潜在変数事後 $p(f_*|X,\mathbf{y},\mathbf{x}_*)$ （eq。3.9）（3.9）のシグモイド尤度と（3.10）のシグモイド関数により、一般に解析的に解くことができません。方程式を調べなくても済むように、次のようにします。

\begin{aligned} p (y_{*} = + 1 | X, y, x_{*}) & = \int σ (f_{*}) p (f_{*} | X, y, x_{*}) d f_{*} & (3.10) \\ p (f_{*} | X, y, x_{*}) & = \int p (f_{*} | X, x_{*}, f) p (f | X, y) d f & (3.9) \end{aligned}

$\begin{align} p(y_*=+1|X,\mathbf{y},\mathbf{x}_*) &= \int\sigma(f_*)\,p(f_*|X,\mathbf{y},\mathbf{x}_*)\,df_*\quad\quad&\mbox{(3.10)} \\ p(f_*|X,\mathbf{y},\mathbf{x}_*) &= \int p(f_*|X,\mathbf{x}_*,\mathbf{f})\,p(\mathbf{f}|X,\mathbf{y})\,d\mathbf{f}&\mbox{(3.9)} \end{align}$

私の主な質問は次のとおりです： $f$ ガウス過程としてモデル化された、ガウス関数の代わりにシグモイド関数を（どちらの方程式でも）使用する理由

p (y = + 1 | f (x)) = g (f (x)) ≜ \exp {- \frac{f^{2} (x)}{2}} ?

$p(y=+1\,|\,f(\mathbf{x}))=g(f(\mathbf{x}))\triangleq\exp\left\{-\frac{f^2(\mathbf{x})}{2}\right\} \enspace?$ これは、両方の積分に対する閉じた形のソリューションにつながります。ガウス関数はシグモイド関数のように単調ではありませんが、GPは複数のターニングポイントを持つ関数を生成できるため、単調性は不要のようです。がトレーニングデータから離れているときに（3.10）がに確実に収束するようにするには、おそらく前のに平均を与えることで十分でしょう。：ここで、はのベクトルであり、はトレーニングサンプルの数です。

\frac{1}{2}

$\frac{1}{2}$

x_{*}

$\mathbf{x_*}$

p (f | X)

$p(\mathbf{f}|X)$

\begin{aligned} E [f | X] & = ω 1_{n} \\ ω & = \sqrt{- 2 \ln \frac{1}{2}}, \end{aligned}

$\begin{align} \mathbb{E}[\mathbf{f}|X] &= \omega\mathbf{1}_n \\ \omega&=\sqrt{-2\ln\frac{1}{2}} \enspace, \end{align}$

1_{n}

$\mathbf{1}_n$

n

$n$

1

$1$

n

$n$

g (ω) = \frac{1}{2} .

$g\left(\omega\right)=\frac{1}{2}\enspace.$

シグモイド尤度の動作とは対照的に、ガウス尤度は、負のラベルの付いた入力ポイントに対して大きな（正または負の）エントリを優先し、正のラベルの付いたポイント小さなエントリを優先します。 $\mathbf{f}$ $\mathbf{f}$

ガウス関数は、シグモイドでは発生しない問題を引き起こしますか？シグモイドの代わりにガウス関数がバイナリGP分類で使用された論文はありますか？

2017年5月25日更新

さらに考察すると、上記で提案されたゼロ以外の事前平均は、の符号がどうあるべきかについてのあいまいさを解決するのにも役立ちます（はどちらの符号も優先しません;）。以前の平均がゼロの場合、の平均がゼロであるため、このあいまいさを解決することは重要であると思われます事前確率と尤度はどちらも偶関数であるため、で定義された尤度の下でもゼロになります。すなわち： $f$ $g$ $g(f(\mathbf{x}))=g(-f(\mathbf{x}))$ $p(\mathbf{f}|X)$ $p(\mathbf{f}|X,\mathbf{y})$ $g$ $\mathbf{f}$

\begin{aligned} p (y | f) & = \prod_{i = 1}^{n} p (y_{i} | f_{i}) \\ p (y_{i} | f_{i}) & = {\begin{cases} g (f_{i}) & , y_{i} = + 1 \\ 1 - g (f_{i}) & , y_{i} = - 1 \end{cases} \\ ∴ E [f | X] = 0 \to p (- f | X, y) & = \frac{p (y | - f) p (- f | X))}{p (y | X)} = \frac{p (y | f) p (f | X))}{p (y | X)} = p (f | X, y) . \end{aligned}

$\begin{align} p(\mathbf{y}|\mathbf{f})&=\prod_{i=1}^n p(\mathbf{y}_i|\mathbf{f}_i) \\ p(\mathbf{y}_i|\mathbf{f}_i) &= \begin{cases} g(\mathbf{f}_i) & ,\;\mathbf{y}_i=+1 \\ 1-g(\mathbf{f}_i) & ,\;\mathbf{y}_i=-1 \end{cases} \\ \therefore \mathbb{E}[\mathbf{f}|X]=\mathbf{0} \enspace\rightarrow\enspace p(-\mathbf{f}|X,\mathbf{y}) &=\frac{p(\mathbf{y}|-\mathbf{f})p(-\mathbf{f}|X))}{p(\mathbf{y}|X)} =\frac{p(\mathbf{y}|\mathbf{f})p(\mathbf{f}|X))}{p(\mathbf{y}|X)} =p(\mathbf{f}|X,\mathbf{y}) \enspace. \end{align}$

平均場合ゼロであった、トレーニングセットのラベルクエリ点ラベルに関する情報提供しないであろうそれほど明確に我々はいけません、これを許可します。したがって、を定義することに加えて、おそらくをさらにバイアスする必要があります前の比較的小さい標準偏差を与えることにより、正の向かって、たとえば、は共分散関数で、です。これを行う場合は、おそらくもスケールアップする必要があります。 $p(\mathbf{f}|X,\mathbf{y})$ $\mathbf{y}$ $y_*$ $\mathbb{E}[\mathbf{f}|X]=\omega\mathbf{1}_n$ $p(\mathbf{f}|X,\mathbf{y})$ $\mathbf{f}$ $p(\mathbf{f}|X)$ $\sqrt{k(x,x)}=\frac{\omega}{\beta}$ $k$ $\beta\in[2,3]$ $g$ 引数、その結果の小さな値生成するimprobably遠い前平均からでなければならないであろう：ここで。 $\mathbf{f}$ $g$

g (f (x); s) = \exp {- \frac{f^{2} (x)}{2 s^{2}}},

$g(f(\mathbf{x});s)=\exp\left\{-\frac{f^2(\mathbf{x})}{2s^2}\right\}\enspace,$

s < 1

$s<1$

これは記号のあいまいさの問題を修正するための合理的な方法でしょうか？ $f$

— 大瀬
ソース

彼らはこれを第3章の脚注（最初のページ）で言及していると思います

ターゲット値の離散性を無視して回帰処理を選択することもできます。この場合、バイナリ分類ではすべてのターゲットがたまたま±1になります。これは最小二乗分類として知られています。セクション6.5を参照してください。

6.5 http://www.gaussianprocess.org/gpml/chapters/RW6.pdfを見ると、シグモイド関数を使用する利点は、出力を確率論的に解釈できるということです（つまり、例に正の応答がある確率）。。

— マックスS
ソース

最小二乗分類は、私が考えていたものではありませんが、バイナリ分類を検討するもう1つの興味深い代替手段です。私が心に留めていたのは、第3章で説明したとおりにGPバイナリ分類を行うことでした。ただし、が出現するごとに上記のガウス関数置き換えられます（の最大値は1であり、正規化されたガウスPDFではありません）。、および前のは、私の質問で説明されている平均が与えられます。

σ

$\sigma$

g

$g$

g

$g$

p (f | X)

$p(\mathbf{f}|X)$

— 大瀬

このアプローチの問題は、の項の数がトレーニングセットの負のラベルが付いた点の数とともに指数関数的に増加するため、（3.9）の閉形式の解が指数関数的な時間の複雑さ。より具体的には、一般性を失うことなく、次に（3.9）の閉形式の解を得るには、最初の積を（正規化されていない）ガウス関数の合計に展開する必要があります。これにより、それぞれを個別に統合できます。 $p(\mathbf y|\mathbf f)$

y_{1} = \dots = y_{a} = - 1, y_{a + 1} = \dots = y_{n} = + 1,

$\mathbf y_1=\ldots=\mathbf y_a=-1 \enspace,\enspace \mathbf y_{a+1}=\ldots=\mathbf y_n=+1 \enspace,$

p (y | f) = (\prod_{i = 1}^{a} (1 - g (f_{i}))) \prod_{i = a + 1}^{n} g (f_{i}) .

$p(\mathbf y|\mathbf f) = \left(\prod_{i=1}^a (1-g(\mathbf f_i))\right) \prod_{i=a+1}^n g(\mathbf f_i) \enspace.$

\prod_{i = 1}^{a} (1 - g (f_{i})) = \sum_{I \in P {1, \dots, a}} (- 1)^{| I |} \exp {- \frac{1}{2} \sum_{i \in I} f_{i}^{2}} .

$\prod_{i=1}^a (1-g(\mathbf f_i)) = \sum_{I\in \mathcal{P}\{1,\ldots,a\}} (-1)^{|I|}\exp\left\{ -\frac{1}{2}\sum_{i\in I}\mathbf f^2_i \right\} \enspace.$ 負のラベルが付けられた点のインデックスのべき乗セットにはセットがあるため、（3.9）を解くと計算が必要になりますガウス積分。

2^{a}

$2^a$

P {1, \dots, a}

$\mathcal P\{1,\ldots,a\}$

{1, \dots, a}

$\{1,\ldots,a\}$

2^{a}

$2^a$

— 大瀬
ソース

ガウスプロセスのバイナリ分類で、なぜシグモイド関数がガウス関数よりも好ましいのですか？

2017年5月25日更新