NNアーキテクチャを動的に調整する：不要なものを発明しますか？

私は博士課程の旅を始めており、私が自分の前に設定した究極の目標は、彼らが働く環境を監視し、アーキテクチャを当面の問題に動的に調整するANNを開発することです。明らかな影響は、データの一時性です。データセットが連続的でなく、時間とともに変化しない場合、なぜ調整するのでしょうか。

大きな問題は、ディープラーニングの最近の台頭で、それはまだ関連するトピックですか？FFNNは、概念のドリフト問題のニッチを見つけるチャンスですか？

スレッドに過大な質問を詰め込むのは怖いですが、これは完全にトピック外ではありません。RNNは知っていますが、私はそれらに限られた（OK、なし、または純粋に理論的な）経験を持っています。動的なアーキテクチャの適応は、RNNのコンテキストでは関連するトピックでなければならない、と私は思います。問題は、すでに回答されているか、そして車輪を再発明するかということです。

PSがメタオプティマイズにクロスポスト

カスケード相関ニューラルネットワークは、トレーニングプロセス中に非表示のノードを追加して構造を調整するため、ここから開始できます。ニューラルネットワークのレイヤー数や非表示ノード数などを自動的に調整する他のほとんどの作業は、進化的アルゴリズムを使用しています。

残念ながら、この作業は私の領域外であるため、開始するのに役立つ特定の論文や参考文献をお勧めすることはできません。ディープラーニングコミュニティ内でネットワーク構造とパラメーターを同時に最適化しようとする作業は見たことがありません。実際、ほとんどのディープラーニングアーキテクチャは、一度に1つのレイヤーを貪欲に学習することに基づいているため、ディープニューラルネットワークのオンライン学習でさえ、かなり手つかずの領域になっています（ヘッシアンの自由最適化に関するMartensらの研究は注目すべき例外です）。

建設的なニューラルネットワーク（CCアルゴリズム@altoなど）への新しいアプローチの開発を検討するもう1つの理由は、統計以外のアプリケーションです。特に、理論的神経科学と認知科学では、発達と神経発生に比喩的な類似性があるため、建設的ニューラルネットワークがよく使用されます。このためにカスケード相関を多用する例として、Thomas R. Shultzの出版物をご覧ください。残念ながら、カスケード相関アプローチは生物学的に非現実的であり、神経科学のベンドがある場合、調整可能なアーキテクチャを備えた新しいNNを開発や神経発生のより良いモデルとしてどのように使用できるかを検討する価値があります。