いくつかのケースでは、かなり複雑なデータセット（バックギャモンの位置とOCR）を使用して、ニューラルネットワーク（バックプロパゲーションネットワーク）をトレーニングしました。これを行う場合、学習に最適な構成を見つけるために、多くの作業にネットワークのさまざまな構成を試すことが含まれるようです。多くの場合、使用/学習がより速い小さなネットと、より多くの知識を表すことができる大きなネットとの間には妥協点があります。
次に、高速で大規模なネットワークをいくつか作成できるかどうか考えます。すべてのニューロンが完全に接続されていないネットワークでは、すべての層で完全に接続されているネットよりも計算が速くなるはずだと私は考えています。特定のニューロンが特定の入力を必要としないため、それらの接続を削除することを検出したのはトレーニングである可能性があります。同様に、一部のニューロンが「過負荷」になっているように思われる場合、トレーニングには新しいニューロンの追加も含まれます。
これは成功して試されたものですか？この種の動作を持つネットワークのクラスは存在しますか？
回答:
これは大まかに未解決の問題であり、さまざまな戦略やヒューリスティックが知られている進行中の研究の対象となっています。キーワードは「ニューラルネットワークアーキテクチャ」。最も基本的な戦略は、さまざまなネットワークトポロジを反復処理し、それぞれに再トレーニングすることです。別の戦略は、比較的大きなネットワークから始めて、重みが低く、再トレーニングして改善を探す接続を除去することです。数年前、これは少なくとも1つの論文で「脳損傷」と呼ばれていました[2]。以下に参考例を示します。他にもたくさんあります。また、GAのようなアルゴリズムを使用してネットワーク構造を決定する可能性もあります[3]。[1]の要約の一部を次に示します。
ANNを使用するには、ユーザー側でいくつかの重要な決定が必要です。これは、結果の分類の精度に影響を与える可能性があります。この研究では、ネットワークの最も重要な属性の1つである最適ネットワーク構造の決定について調査します。ネットワークの構造は、トレーニング時間と分類精度に直接影響します。文献にはネットワーク構造がネットワークのパフォーマンスに与える影響についての議論がいくつかありますが、最適な構造を決定するための特定の方法やアプローチはありません。ここでは、MATLABツールキットを使用して科学的視覚化を活用し、ネットワーク構造と分類の精度との関係について調査します。
[1] Taskin Kavzogluによる人工ニューラルネットワークの最適構造の決定
[2] 最適な脳損傷 Le Cun、Denker、Solla
[3] 遺伝的アルゴリズムを使用して最適なニューラルネットワークアーキテクチャを見つける Britos et al