独自のトポロジを構築する最新のニューラルネットワーク

標準的なニューラルネットアルゴリズム（backpropなど）の制限は、必要な隠れ層と層ごとのニューロンの数を設計で決定する必要があることです。通常、学習率と一般化はこれらの選択に非常に敏感です。これが、カスケード相関などのニューラルネットアルゴリズムが関心を集めている理由です。最小限のトポロジ（入力ユニットと出力ユニットのみ）で開始し、学習が進むにつれて新しい隠れユニットを募集します。

CC-NNアルゴリズムは、1990年にFahlmanによって、1991年にリカレントバージョンとして導入されました。最小トポロジで始まる最近（1992年以降）のニューラルネットアルゴリズムは何ですか？

関連する質問

CogSci.SE：神経発生の生物学的にもっともらしい説明を伴うニューラルネットワーク

ここでの暗黙の質問は、モデルが「適切なサイズ」であり、過適合/過適合ではないように、ニューラルネットワークまたは機械学習モデルのトポロジ/構造をどのように決定できるかです。

1990年にカスケード相関が行われて以来、今ではこれを行うための多くの方法があり、それらの多くははるかに優れた統計的特性または計算特性を備えています。

• ブースティング：弱学習者を一度にトレーニングします。各弱学習者は、過去の学習者が学習していないことを学習するように再重み付けされたトレーニングセットを与えられます。
• 投げ縄や自動関連性決定などの正規化を誘導するスパース性：大規模なモデル/ネットワークから開始し、不要なユニットが「オフ」になり、有用なものはアクティブのままにするように促すレギュライザーを使用します。
• ベイジアンノンパラメトリック：「正しい」モデルサイズを見つけることを忘れてください。1つの大きなモデルを使用するだけで、ベイジアンの正則化/特定化に注意してください。たとえば、無限数のユニットとガウスの事前分布を持つニューラルネットワークは、ガウス過程であると導き出すことができます。これにより、訓練がはるかに簡単になります。
• ディープラーニング：別の回答で述べたように、ディープネットワークを一度に1層ずつトレーニングします。これは実際には、レイヤーごとのユニット数を決定する問題を解決しません-多くの場合、これは手作業または相互検証によって設定されます。

NeuroEvolution of Augmenting Topologies（NEAT）http://www.cs.ucf.edu/~kstanley/neat.htmlはどうですか

単純な問題に対しては機能しているように見えますが、収束に非常に時間がかかります。

私が理解しているように、今日の芸術のトップは「教師なしの特徴学習と深層学習」です。簡単に言うと、ネットワークは、各層を一度に監視なしで訓練されています。

• http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial
• http://www.youtube.com/watch?v=ZmNOAtZIgIk&feature=player_embedded

すでにNEAT（拡張トポロジを使用したニューラル進化）についての言及があります。これには、種分化やHyperNEATなどの進歩があります。HyperNEATは「メタ」ネットワークを使用して、完全に接続された表現型の重み付けを最適化します。これにより、ネットワークに「空間認識」が与えられます。これは、画像認識やボードゲームの種類の問題において非常に貴重です。どちらも2Dに限定されません。私はそれを信号解析のために1Dで使用していますが、2D上向きにすることも可能ですが、処理要件が重くなります。Ken Stanleyの論文を探してください。Yahooのグループがあります。ネットワークで扱いやすい問題がある場合は、NEATやHyperNEATが適切に適用される可能性があります。

このトピックに関する最近の論文があります。RPAdams、H。Wallach、およびZoubin Ghahramaniです。ディープスパースグラフィカルモデルの構造の学習。 これは、通常のニューラルネットワークコミュニティの少し外にあり、機械学習の側面にあります。この論文では、ネットワーク構造にノンパラメトリックベイジアン推論を使用しています。