入力が条件付きで独立している場合、超平面はデータを最適に分類します-なぜですか？

9

ディープラーニングと情報ボトルネック原理と呼ばれる論文では、著者はセクションII A）で次のように述べています。

単一ニューロンは、入力空間超平面のみを実装できるため、線形的に分離可能な入力のみを分類します。入力が条件に依存しない場合、超平面はデータを最適に分類できます。 $u = wh+b$

これを示すために、彼らは以下を導き出します。ベイズの定理を使用すると、次のようになります。

（1） $p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})}$

ここで、、入力されるクラスであり（私は、仮定予測クラスであり、定義されていません）。続けて、彼らは次のように述べています： $x$ $y$ $y'$ $y'$

（2） $\frac{p(x|y)}{p(x|y')} = \prod^N_{j=1}[\frac{p(x_j|y)}{p(x_j|y')}]^{np(x_j)}$

ここで、は入力次元で、はわかりません（ここでも、両方とも未定義です）。シグモイドアクティベーション関数シグモイドニューロンを考える $N$ $n$ $\sigma(u) = \frac{1}{1+exp(-u)}$ $u$ $w_j = log\frac{p(x_j|y)}{p(x_j|y')}$ $b=log\frac{p(y)}{p(y')}$ $h_j=np(x_j)$

$w,b,h$

（1）ベイズの定理を使用してどのように導出されますか？
$n$
$h_j=np(x_j)$

$y$ $y'$

bayesian neural-networks information-theory

— スパーラ
ソース

n p (x_{j})

$n p(x_j)$

5

短い論文に欠けている詳細については申し訳ありませんが、尤度比検定とS字型ニューロンの間のこれらの関係と接続は確かに新しいものではなく、教科書（たとえばBishop 2006）で見つけることができます。私たちの論文では、「N」は入力次元であり、「n」はテストサンプルサイズです（SNRがsqrt（n）のように増加するという仮定の下で実際に入力SNRに変換されます）。シグモイド関数への接続は、クラスの後部として、ベイズ規則を介して行われます。本書の残りの部分、および2017年に発行された新しいより重要な文書には、実際にこれに依存するものはありません。

ナフタリ・ティシュビー

— ナフタリ・ティシュビー
ソース

2

ここでこれを明確にしていただきありがとうございます。興味のある読者がソースを探すことができるように、完全な引用を書くことはこのコミュニティの標準的な慣行です。ビショップ（2006）のためにこれをしていただけませんか？

— mkt-モニカを2017年

4

のために1

$P(y \mid x) = \frac{P(y, x)}{P(x)}$

$= \frac{P(y,x)}{\sum_{i}P(y_{i},x)}$

$y_{i}$

$= \frac{P(y,x)}{P(y,x)+P(y',x)}$

$= \frac{1}{1+\frac{P(y',x)}{P(y,x)}}$

$= \frac{1}{1+exp[-log \ \frac{P(y,x)}{P(y',x)}]}$

そしてそこから、最終的な形式に到達するための対数の特性だけです（この時点で十分に明確になるはずです。そうでない場合はお知らせください）。

— クリス・オーマンディ
ソース

4

これは、関心のあるバイナリ変数がある場合に適用されるベイズの定理の特別な形式を作成者が使用しているモデルセットアップです。彼らはまず、このベイズの定理の特殊な形式を方程式（1）として導出し、次に、方程式（2）の条件がネットワークに指定された線形形式に導くことを示します。後者の方程式は以前の条件から導出されたものではないことに注意することが重要です。むしろ、それはネットワークに使用している線形形式の条件です。

$y$ $y'$ $Y$

\begin{aligned} p (y | x) = \frac{p (y, x)}{p (x)} & = \frac{p (x | y) p (y)}{p (x | y) p (y) + p (x | y^{'}) p (y^{'})} \\ = \frac{1}{1 + p (x | y^{'}) p (y^{'}) / p (x | y) p (y)} \\ = \frac{1}{1 + \exp (\log (\frac{p (x | y^{'}) p (y^{'})}{p (x | y) p (y)}))} \\ = \frac{1}{1 + \exp (- \log \frac{p (x | y)}{p (x | y^{'})} - \log \frac{p (y)}{p (y^{'})})} \\ = logistic (\log \frac{p (x | y)}{p (x | y^{'})} + \log \frac{p (y)}{p (y^{'})}) . \end{aligned}

$\begin{equation} \begin{aligned} p(y|\mathbf{x}) = \frac{p(y,\mathbf{x})}{p(\mathbf{x})} &= \frac{p(\mathbf{x}|y) p(y)}{p(\mathbf{x}|y) p(y)+p(\mathbf{x}|y') p(y')} \\[6pt] &= \frac{1}{1+ p(\mathbf{x}|y') p(y')/p(\mathbf{x}|y) p(y)} \\[6pt] &= \frac{1}{1+ \exp \Big( \log \Big( \tfrac{p(\mathbf{x}|y') p(y')}{p(\mathbf{x}|y) p(y)} \Big) \Big)} \\[6pt] &= \frac{1}{1+ \exp \Big( - \log \tfrac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} - \log \tfrac{p(y)}{p(y')} \Big)} \\[6pt] &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg). \\[6pt] \end{aligned} \end{equation}$

$\mathbf{x} = (x_1,...,x_N)$ $N$

\begin{aligned} \log \frac{p (x | y)}{p (x | y^{'})} & = \log \prod_{i = 1}^{N} [\frac{p (x_{i} | y)}{p (x_{i} | y^{'})}]^{n p (x_{i})} \\ = \sum_{i = 1}^{N} n p (x_{i}) \log [\frac{p (x_{i} | y)}{p (x_{i} | y^{'})}] \\ = \sum_{i = 1}^{N} h_{i} w_{i} . \end{aligned}

$\begin{equation} \begin{aligned} \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} &= \log \prod_{i=1}^N \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big]^{n p (x_i)} \\[6pt] &= \sum_{i=1}^N n p (x_i) \log \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big] \\[6pt] &= \sum_{i=1}^N h_i w_i. \\[6pt] \end{aligned} \end{equation}$

したがって、この条件の下では、事後形式が得られます。

\begin{aligned} p (y | x) & = logistic (\log \frac{p (x | y)}{p (x | y^{'})} + \log \frac{p (y)}{p (y^{'})}) \\ = logistic (\sum_{i = 1}^{N} h_{i} w_{i} + b), \end{aligned}

$\begin{equation} \begin{aligned} p(y|\mathbf{x}) &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg) \\[6pt] &= \text{logistic} \Bigg( \sum_{i=1}^N h_i w_i + b \Bigg), \\[6pt] \end{aligned} \end{equation}$

$n$ $\mathbf{x}$ $y$

— ベン-モニカの復活
ソース

n

$n$

ありがとう-この追加情報を反映するように回答を編集しました。

— ベン-モニカを復活させる