重要な問題をきちんと解決するノードが非常に少ないニューラルネットワークはありますか?


11

非常に少数のノードを使用する(20ノードはハードリミットではない)重要な問題を解決する(> = 80%の精度で)ニューラルネットワークが存在するかどうかを知りたいです。ニューラルネットワークのサイズに関する直感を開発したいと思います。


普遍的な近似定理:1つの非表示層を持つニューラルネットワークは、非表示層に十分な数のノードがある場合、「合理的な」関数を近似できます。
nbro

2
あなたの質問に答えるのは簡単ではないと思います。「ささいな問題」とはどういう意味ですか?
nbro

非表示のレイヤーであってもノードを少なくしたい。
ギジェルモMosse

@nbroこの文脈での「自明ではない」という私の感覚は扱いにくいか、解決されていません。
DukeZhou

回答:


13

些細なことは明確に定義されていないため、この質問に適切に答えることが不可能であっても(おそらく、著者が後でこの質問を編集して、より明確に指定します)、この機会に私にとって興味深いと思われるこの論文を指摘します

イジング臨界を学ぶための最小のニューラルネットワーク

あなたが一般的な考え方持ってと仮定すると、イジングモデル Iは、データ駆動型の観点から、臨界温度を特定の問題があると考えることができると思う非自明な著者がNNから渡すと、このタスクを解決するために関連するパフォーマンスを改善しているか、紙のショーこのホワイトペーパーで実行されている100個の非表示ニューロン、2017年から2つの非表示ニューロンまでの問題の機械学習フェーズ

ちょうど私のセント:

  • ニューロンを減らすことは、良好なパフォーマンスを維持しながら、悪名高いほどあいまいであり、その複雑さがニューロンの数とともに(指数関数的に)増大する神経処理の解釈の観点から役立つはずです。

3
コミュニティ自体が面白いと思った例がほしかった。些細なことを定義することは、実際、些細なことではないと思います。正しい?
ギジェルモMosse

1
@GuillermoMosseいいえ、重要なものを定義するのは非常に簡単です。定義は、状況に最適なものに応じて多かれ少なかれ任意です。非常に単純なNNが、与えられた数が自明でない平方根であるかどうかを知ることを学ぶことができると確信しています...
フォレスト
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.