深層学習に対するベイズのノンパラメトリックな答えは？

私が理解しているように、ディープニューラルネットワークは、機能を重ねることによって「表現学習」を実行しています。これにより、フィーチャの非常に高次元の構造を学習できます。もちろん、これはパラメーターの数が固定されたパラメトリックモデルであるため、モデルの複雑さを調整するのが難しいという通常の制限があります。

モデルの複雑さがデータに適応できるように、特徴空間でそのような構造を学習するベイジアン（ノンパラメトリック）な方法はありますか？関連モデルは次のとおりです。

• ディリクレは混合モデルを処理します。これにより、スペースを無制限のクラスターに分割し、データが有限数を選択できるようにします。
• データを説明する潜在的な特徴（別名トピック）の潜在的に無限の数を見つけるインディアンビュッフェプロセス（IBP）のような要因モデル。

しかし、IBPは深い表現を学習していないようです。これらの方法は教師なし学習用に設計されており、通常、教師付きタスクにはディープラーニングを使用するという問題もあります。データの要求に応じて表現を拡大できるIBPまたは他のメソッドのバリアントはありますか？

他の回答の注記にあるように、ニューラルネットワークの一般的なノンパラメトリックベイジアン代替法はガウスプロセスです。（こちらもご覧ください）。

ただし、接続はそれよりもはるかに深く実行されます。ベイジアンニューラルネットワーク（BNN）と呼ばれるモデルのクラスを考えます。このようなモデルは、ネットワークの各重み/パラメーターがその値を表す確率分布を持っていることを除いて、通常のディープニューラルネットワークに似ています。通常のニューラルネットワークは、各重みの確率分布がディラックデルタであることを除いて、BNNの特殊なケースにいくらか似ています。

興味深い事実は、無限に広いベイズニューラルネットワークが、いくつかの合理的な条件下でガウスプロセスになることです。

Nealの論文、Bayesian Learning for Neural Networks（1995）は、IIDが事前にある単層ネットワークの場合にこれを示しています。最近の研究（Lee et al、Deep Neural Networks as Gaussian Processes、2018を参照）は、これをより深いネットワークに拡張しています。

したがって、おそらく、大きなBNNをノンパラメトリックガウスプロセスモデルの近似と見なすことができます。

より一般的にあなたの質問については、人々はしばしば教師付き学習でマッピングを必要とするだけです、それはベイズのノンパラメトリックが（少なくとも今のところ）それほど一般的ではないようです、ほとんど計算上の理由で（最近の進歩でも同じことがBNNに当てはまります）変分推論で）。ただし、教師なし学習では、より頻繁に表示されます。例えば：

• Goyal et al、Nonparametric Variational Auto-encoders for Hierarchical Representation Learning、2017

• Abbasnejad and Dick、半教師あり学習のための無限変分オートエンコーダ、2017

• チェン、ノンパラメトリッククラスタリングによる深層学習、2015年

確かにわかりませんが、おそらく、深いガウス過程があなたが探しているものの1つの例かもしれません。

深いガウス過程

学者の深いガウス過程についての最近の研究もありますが、私は何を読むのが良いかをあなたに伝えるのに十分な知識がありません：

https://scholar.google.de/scholar?as_ylo=2016&q=deep+gaussian+processes&hl=de&as_sdt=0,5&as_vis=1