スパイキングニューラルネットワークが他のアルゴリズムより優れている(非スパイキング)ドメインはありますか?


8

Echo State NetworksLiquid State Machinesなどのリザーバーコンピューティングテクニックについて読んでいます。どちらの方法も、ランダムに接続された(または接続されていない)スパイキングニューロンの母集団に入力を供給することと、出力を生成する比較的単純な読み出しアルゴリズム(線形回帰など)を含みます。ニューロンの母集団の重みは、固定されているか、STDPのようなヘブライアンのようなローカルアクティビティルールによってトレーニングされています。

これらの手法は、重要な時間コンポーネントを持つ多次元入力をモデル化するときにうまく機能します。ただし、スパイクニューロンの膜電位の計算には微分方程式の積分が含まれ、計算コストが高くなる可能性があります。

リザーバーコンピューティングテクニックの追加の計算の複雑さの方が、予測または分類タスクのゲインよりも優れている例はありますか?

たとえば、RNN、ANN、SVM、DNN、CNN、またはその他のアルゴリズムに基づいて、比較的複雑なアーキテクチャよりもSNN技術が優れているケースはありますか?


2
あなたはこのペーパーをチェックすることができます、それはコンピュータビジョンにおいて最先端のものよりわずかに良いパフォーマンスを約束します:arxiv.org/pdf/1802.02627.pdf
6:21のHakeeem

回答:


7

私の答えは、公開された実験やベンチマークよりも経験から来ています。

私の知る限り、Spiking Neural Networksはどのタスクにおいても他のアルゴリズムをしのいでいます。最近の出版物によると、ロボット工学と貯留層コンピューティングには進歩がありますが、貯留層コンピューティングアルゴリズムは他のアルゴリズム(強化学習など)と同じくらい優れています。一部の企業は最近数人のリザーバーコンピューティング研究者を雇ったため、これらのアルゴリズムに興味を持っているという噂がありますが、これらは単なる噂にすぎません。

これは、ロボット工学におけるリザーバーコンピューティングの進歩と制限について詳述した最新の出版物の1つです 。https://www.cs.unm.edu/~afaust/MLPC15_proceedings/MLPC15_paper_Polydoros.pdf

Wolfgang Maassが提案したアーキテクチャを使用して、大学でLiquid State Machinesの実験を始めました。それは有望で、特に回路の一部を形成する抑制性ニューロンのアイデアに見えました。しかし実際には、これらのアルゴリズムを実際のデータアプリケーション(言語分類、画像分類など)で使用するだけでは、RNN、ANN、SVMなどのベンチマークに近づけるには不十分でした。時には、バニラマルチレイヤーニューラルネットワークでさえ、リキッドステートマシンよりもパフォーマンスが優れています。私の理解では、この種のモデルは、ロボット工学や、センサーや自律航法などの自律関連タスクに適しています(ただし、私の研究領域ではありませんでした)が、他の種類のデータにはそれほど適していません。主にヨーロッパでこのアルゴリズムを使用しているラボがいくつかありますが、これまでのところ、この分野で多くの進歩があったとは聞いたことがありません。

私は脳にインスパイアされたアルゴリズムがAIの次の大きな一歩であると信じています、そしてNumentaやDeepmindのような多くの企業がこの方向に向かって研究している一方で、今日現在、次のブレークスルーを実現するためにやらなければならないことがまだたくさんあります。 AI。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.