ベイジアンニューラルネットワークを使用する利点は何ですか

12

最近、私は、ベイジアンニューラルネットワーク（BNN）[Neal、1992]、[Neal、2012]についてのいくつかの論文を読みました。このようなニューラルネットワークのトレーニングは、従来の逆伝播アルゴリズムとは異なるMCMCを介して行われます。

私の質問は次のとおりです。そのようなニューラルネットワークを使用する利点は何ですか？具体的には、NNよりもBNNに適した例をいくつか挙げていただけますか？

bayesian neural-networks bayesian-network

— フィッシー
ソース

9

ベイジアンニューラルネットは、過剰適合を防ぐ方法として、データが不足しているドメインの問題を解決するのに役立ちます。このような状況では、他のすべての方法よりもしばしば勝ちます。応用例としては、分子生物学（このペーパーなど）や医療診断（データが高価で困難な期限切れの作業に由来することが多い分野）です。実際、ベイジアンネットは普遍的に有用であり、膨大な数のタスクに対してより良い結果を得ることができますが、大きな問題に対応することは非常に困難です。

— デニス・タラソフ
ソース

2

ベイジアンネットのスケーリングが難しい理由を詳しく説明できますか？

— エリスバレンタイン

6

NNに対するBNNの利点の1つは、未知のターゲットのデータを処理するときに、予測に関連するエラーを自動的に計算できることです。BNNを使用して、ベイジアン推論を実行しています。さんのように私たちのBNN予測を定義してみましょう、 NN機能である、あなたの入力があり、 $\bar{f}(x′|x,t)=∫f(x′,ω)p(ω|x,t)dω$ $f$ $x'$ $ω$ はNNパラメーターであり、x、tはトレーニングの入力とターゲットです。これは、@ forecasterが提供するリンクでNealが使用する構文と互換性がある必要があります。次に、事後予測分布の標準偏差を計算できます。これを予測の精度として単純に使用します： $\sigma(x′)=\sqrt{∫[f(x′,ω)−\bar{f}(x′|x,t)]^2p(ω|x,t)dω}$

— ミシェル・K
ソース

1

これは会話への興味深い追加ですが、標準では少し短いです。少し詳しく説明して、おそらく参考文献を含めてください。

— シコラックスは、モニカを

承知しました。BNNを使用して、ベイジアン推論を実行しています。レッツは、として私達のBNN予測を定義

fはNN機能で、x」はあなたの入力があり、

NNパラメーターであり、

\bar{f} (x^{'} | x, t) = \int f (x^{'}, ω) p (ω | x, t) d ω

$\bar{f}(x'|x,t) = \int{f(x',\omega)p(\omega|x,t) d\omega}$

ω

$\omega$

x, t

$x,t$ トレーニングの入力とターゲットです。これは、@ forecasterが提供するリンクでNealが使用する構文と互換性がある必要があります。次に、事後予測分布の標準偏差を計算できます。これを予測の精度として単純に使用します：

σ (x^{'}) = \sqrt{(} \int [f (x^{'}, ω) - \bar{f} (x^{'} | x, t)]^{2} p (ω | x, t) d ω)

$\sigma(x') = \sqrt(\int{[f(x',\omega)-\bar{f}(x'|x,t)]^2p(\omega|x,t) d\omega})$

— ミシェル・K

これをあなたの答えに編集してください。

— シコラックスは、モニカを