アプリケーションで使用されるパルスニューラルネットワークの邪魔になるものは何ですか？

パルスまたはスパイキングニューラルネットワークは、生体ニューロンの膜ダイナミクスの多くを組み込み、パルスは次の層に情報を運びます。ニューロンは、たとえばバックプロップの場合のように、必ずしもすべて同時に「発火」する必要はありません。

しかし、機械学習の問題にこれらのモデルを採用することには障壁があるようです。より生物学的に現実的なモデルを使用する機械学習の実践者にとって、どのような特定の問題が立ちはだかりますか？

大きな問題は、脳がどのように機能するのか誰も知らないことです:)

理論

私が知る限り、ニューラルネットワークの研究には3つの大きなステップがあります。

1. パーセプトロン（または、しきい値ゲート）モデル。任意のブール関数は、単一の隠れ層を持ついくつかの多層パーセプトロンによって計算できます。
2. ニューロンモデル-ネットワーク要素がシグモイドアクティベーション機能（可能なインピットと出力の連続セット）を使用する、以前のモデルの改良版。また、（しきい値を適用した後）任意のブール関数を計算でき、さらに、任意の連続関数を近似できます。
3. スパイクニューロンモデル。「時間コーディング」を使用して、ネットワーク要素間で情報を受け渡します。前のモデルが行うすべてを実行でき、多くの場合、より少ないニューロンで実行できます。

基本的に、ここでの進化は人間の脳がどのように機能するかに近づくことであり、最後のモデルは最高の忠実度を持っています。

練習

SNNは非常に有望であり、その上に構築された商用製品SpikeNETもあります（「SpikeNETでできること」と「SpikeNETでまだできないこと」の下で、直面している問題を確認できます）。

スパイキングネットワークの特定の問題について話すことはできませんが、一般的に、人々がSNNをますます人間の脳のように動作させることを望むために問題が生じるという印象を持っています。

• 彼らは情報のコーディング方法を選択したい- 遅延コーディング（より強く刺激されたニューロンがより頻繁に、より早くスパイクする傾向がある）、バイナリコーディング（情報は特定の時間間隔内のスパイクの数で表される）、タイムコーディング（情報は識別可能な時間間隔の粒度の逆数です）、ランク順コーディング（ニューロンが受け取った最初のスパイクに影響が与えられ、後のスパイクが抑制されます）およびその他。
• それらは、両方のニューロンが同時に「オン」（または「オフ」）の場合にニューロン間の重みを増加させるヘビアン可塑性をエミュレートします。
• ニューロンのグループが他のニューロンの応答を阻害する勝者ニューロンと競合する自己組織化を適用します。スパイクニューロンを使用すると、単一の発火イベントのみに基づいて勝者をすばやく計算できます。

ウィキペディアには「Pulsed Neural Networks」という本へのリンクがあります。この本には「Pulse-Coded Neural Networksの実装の問題」セクションがありますが、それについてコメントするのに十分な教育を受けていません。

トピックの紹介に関しては、この論文をお勧めします。パルスニューラルネットワークとその応用（pdf）

すべてのニューラルネットワークアルゴリズムはトレーニングアルゴリズムで何らかの勾配降下法を使用し、ANN以外のモデルでさえ勾配降下法を使用しているようです。SNNに勾配降下を時間的に適用する方法についての理論はないようです。1つの可能性は、SNNに似たより生物学的に現実的なモデルを使用するニューロモーフィックコンピューティングの増加です。しかし、手書き認識、音声認識、オブジェクト認識、言語翻訳などの多くの標準ML問題でANNを使用して達成された非常に明確なベンチマークのように、現在までニューロモーフィック分野で達成された強力な機械学習ベンチマーク/ブレークスルーはないようです。