なぜ人々はより深いRBFまたはMLPと組み合わせてRBFを使用しないのですか？

したがって、放射基底関数ニューラルネットワークを見ると、人々は1つの隠れ層の使用しか推奨していないことに気付きましたが、多層パーセプトロンニューラルネットワークでは、より多くの層が優れていると考えられます。

逆伝播のバージョンでRBFネットワークをトレーニングできることを考えると、より深いRBFネットワークが機能しない理由、またはRBFレイヤーを深層MLPネットワークの最後から2番目のレイヤーとして使用できない理由はありますか？（最後から2番目のレイヤーを考えていたので、以前のMLPレイヤーで学習した機能について基本的にトレーニングすることができました）

machine-learning neural-networks rbf-network

— user1646196
ソース

私はNNの専門家ではありませんが、私の印象では、標準のフィードフォワードNNでは、複数の非表示レイヤーは通常あまり追加されません。

— GUNG -復活モニカ

これはNN研究の初期の頃でしたが、現在では通常、より多くのレイヤーがパフォーマンス向上のためのレシピになっています（ディープラーニング）。現在のお気に入りのアプローチは、可能な限り多くのレイヤーのスマートな初期化、飽和を避けるためのシグモイド活性化の代わりにドロップアウトとソフトマックスによる正則化だと思います。（しかし、私はテクニックに関して間違っているかもしれません）。一部の人々は、より良い結果を得るために繰り返し深化を使用していると思います。また、Googleは2014年にimageNetで100層のネットワークを使用して最先端を獲得しました。

— user1646196

基本的な問題は、RBFがa）非線形すぎる、b）次元削減を行わないことです。

a）RBFは、常に勾配降下ではなくk-meansによって訓練されたためです。

ディープNNの主な成功はconv netであり、重要な部分の1つは次元の削減であると主張します。たとえば、128x128x3 = 50,000入力で動作しますが、各ニューロンの受容野は制限され、各層のニューロンははるかに少なくなりますMLPの特定のレイヤーでは、各ニューロンが機能/次元を表しているため、（レイヤーからレイヤーへの）次元を常に低下させています。

RBF共分散行列を適応可能にし、次元削減を行うこともできますが、これによりトレーニングがさらに難しくなります。

— seanv507
ソース

最近、RBFネットワークをトレーニングするための逆伝播アルゴリズムを提案した論文を読みました。これを考えると、ディープネットワークの最終層としてRBFを使用することに利点があるのでしょうか。このフォームでは、ディープネットワークの残りの部分が、RBFが分類できる機能を本質的に検出していると思われます

— -user1646196

多分あなたは論文にリンクするべきです、そして、人々はより多くの情報に基づいた答えをすることができます。RBFの非線形性が高すぎるとしたら（たとえば、シグモイドは線形消失勾配が大きすぎるためreluに置き換えられたとしたら...）どのような人がやっていることはMLPと利用SVMを捨てた後、上部の標準MLPとCONVネットで電車です

— seanv507

論文は「選択的逆伝播によるRBFネットワークのトレーニング」であり、ここで読むことができるのか、paywall sciencedirect.com/science/article/pii/S0925231203005411があるのかはわかりません。シグモイドが非線形性のためにreluに置き換えられたことは知りませんでしたが、非線形性がどのように増加するかを見ることができます。回答を承認済みとしてマークします:)

— user1646196