人工ニューラルネットワークから人間の脳について何を学ぶことができますか？

私の質問/タイトルはあまり具体的ではないことを知っているので、それを明確にしようとします：

人工ニューラルネットワークの設計は比較的厳密です。もちろん、一般的に、それらは生物学の影響を受け、実際のニューラルネットワークの数学的モデルを構築しようとしますが、実際のニューラルネットワークの理解は正確なモデルの構築には不十分です。したがって、正確なモデルや、実際のニューラルネットワークに「近い」ものは考えられません。

私の知る限り、すべての人工ニューラルネットワークは実際のニューラルネットワークからはかけ離れています。生物学には、標準の古典的な完全に接続されたMLPは存在しません。リカレントニューラルネットワークには実際の神経可塑性がないため、RNNの各ニューロンには同じ「フィードバックアーキテクチャ」がありますが、実際のニューロンは情報を個別に保存および共有します。畳み込みニューラルネットワークは効果的で人気がありますが、（たとえば）人間の脳の画像処理はごく少数の畳み込み層で構成されていますが、最新のソリューション（GoogLeNetなど）はすでに数十層を使用しています... 、彼らは人間のパフォーマンスにも近くありません。特に、実際のニューラルネットワークと比較して、かなりの量のレイヤーとデータ削減が必要なため、「レイヤーごとのパフォーマンス」を考える場合。

さらに、私の知る限り、モジュール式の自己拡張/自己再構築人工ニューラルネットワークでさえ、実際のニューラルネットワークの巨大な適応性と比較してかなり「固定的かつ静的」です。生物学的ニューロンには通常、ニューロンを非常に多様な異なる領域や他のニューロンに接続する数千の樹状突起があります。人工ニューラルネットワークは、はるかに「単純」です。

それでは、人間の脳/実際のニューラルネットワークについて、人工ニューラルネットワークから学べることはありますか？それとも、古典的な静的アルゴリズムよりも優れたパフォーマンスを発揮するソフトウェアを作成しようとするだけなのでしょうか（あるいは、そのようなアルゴリズムが失敗するようなことをするのでしょうか）。

誰かがこのトピックに関する（できれば科学的な）情報源を提供できますか？

編集：より多くの回答が高く評価されています（：

あなたが述べたように、ほとんどのニューラルネットワークは脳の一般的な単純な抽象化に基づいています。可塑性のような特性を模倣することに欠けているだけでなく、実際のニューロンのように信号とタイミングを考慮していません。

あなたの特定の質問、ビッグデータと他の巨大なエンジニアリング努力の妄想に関する機械学習マエストロマイケルジョーダンに適切だと感じたかなり最近のインタビューがあり、引用します：

しかし、神経科学では、深い原理を理解するのに数十年から数百年もかかることは事実です。神経科学の最も低いレベルで進歩があります。しかし、より高い認知の問題-知覚方法、記憶方法、行動方法-ニューロンがどのように情報を保存するのか、どのように計算するのか、ルールとは何か、アルゴリズムとは何か、そして表現とは何か、など。したがって、私たちはまだ脳の理解を使用してインテリジェントシステムの構築を導くことができる時代ではありません。

人工神経回路網から脳の機能については、これまでのところ、おそらくほとんど何も学ばれていません。[明確化：機械学習で使用されるニューラルネットワークについて考えてこの回答を書きました。@MattKrause（+1）は、いくつかの生物学的神経現象のニューラルネットワークモデルが多くの場合に役立つ可能性があることは正しいです。]しかし、これはおそらく、機械学習における人工ニューラルネットワークの研究が多かれ少なかれであったという事実によるジェフリーヒントンがほぼ独力でフィールド全体を再燃させ、現在では数十億ドルを集めている2006年頃まで停滞していました。

GoogleのBrains、Sex、Machine Learningと呼ばれる2012年の講義（45:30から）で、ヒントンは人工ニューラルネットワークが[ほとんどの]ニューロンがアナログ信号ではなくスパイクと通信する理由のヒントを提供できると示唆しました。つまり、彼はスパイクをドロップアウトに似た正則化戦略として見ることを提案しています。ドロップアウトは、特定の勾配降下ステップで重みのサブセットのみが更新される場合にオーバーフィットを防ぐために最近開発された方法です（Srivastava et al。2014を参照）。どうやら非常にうまく機能するようで、ヒントンはおそらくスパイク（つまり、ほとんどのニューロンが任意の瞬間に静かになる）が同様の目的に役立つと考えています。

私は神経科学研究所で働いており、ヒントンの主張に納得している人をここで知りません。ju審員はまだ出ていません（おそらくかなり前に出されるでしょう）が、少なくともこれは、人工ニューラルネットワークが脳の機能について潜在的に教えてくれるものの例です。

人間の脳が「少数」の畳み込み層のみを使用していることは確かに真実ではありません。霊長類の脳の約3分の1が視覚情報の処理に何らかの形で関与しています。この図は、FellemanとVan Essenによるもので、視覚情報がサルの脳をどのように流れ、目で始まり（下部のRGC）、最後に記憶領域である海馬で終わるかの概略図です。

これらのボックスはそれぞれ、解剖学的に定義された領域（多かれ少なかれ）であり、いくつかの処理段階（ほとんどの場合、実際のレイヤー）が含まれています。ダイアグラム自体は25年前のものであり、もしあれば、さらにいくつかのボックスと多くの行があることがわかりました。

ある深い学習作業の多くは、より多くのいくつかの基礎となる神経回路の真実に基づいたよりも脳「漠然とに触発」されていることは事実。「深層学習」には、「反復ロジスティック回帰」よりもずっとセクシーに聞こえるという利点もあります。

ただし、ニューラルネットワークの数学的モデルは、脳の理解にも大きく貢献しています。極端な場合、一部のモデルは既知の生物学と生物物理学を正確に模倣しようとします。これらには通常、個々のイオンとその流れの用語が含まれます。実際のニューロンの3D再構成を使用して、形状を制約するものもあります。これに関心がある場合、ModelDBには、モデルと関連する出版物の大規模なコレクションがあります。多くは、無料で利用可能なNEURONソフトウェアを使用して実装されています。

基になる生物物理学についてあまり心配することなく、特定の行動または神経生理学的効果を模倣しようとする大規模なモデルがあります。コネあなたが現在のマシン学習アプリケーションで見つけるかもしれないのと同様、1980年代後半から1990年代および使用されるモデルで特に人気があったか、並列分散処理モデルは、（例えば、無生物物理学、簡単な活性化関数と定型的な接続）、各種説明するために心理的プロセス。私たちがより強力なコンピューターとより良いトレーニング戦略を持っている今、彼らがカムバックするかもしれないのではないかと思われますが、これらは少し流行から落ちました。（下記の編集をご覧ください！）

最後に、「現象論」に加えて生物学的詳細（特定の特性を備えた明確な抑制用語ですが、塩化物チャネルの正確な分布に適合しない）を含む多くの作業が途中にあります。Xiao Jing Wang（および他の多くの...）による作業など、現在の多くの作業がこのカテゴリに適合しています。

編集：私がこれを書いてから、（実際の）視覚システムをオブジェクト認識タスクで訓練されたディープニューラルネットワークと比較する作業が爆発的に増えています。いくつかの驚くべき類似点があります。ニューラルネットワークの最初の層のカーネルは、一次視覚野のカーネル/受容野に非常に似ており、後続の層は、より高い視覚領域の受容野に似ています（例えば、ニコラウスクリーゲスコルテの研究を参照）。ニューラルネットワークの再トレーニングは、広範な行動トレーニングに同様の変化を引き起こす可能性があります（Wenliang and Seitz、2018）。DNNと人間は時々 - 常にではありません -同様のエラーパターンを作成します。

現時点では、これが実際のニューラルネットワークと人工ニューラルネットワークの一般的な類似性、具体的には画像に関する何か[*]、またはパターンがない場合でもすべてのストライプのニューラルネットワークがパターンを見つける傾向を反映しているかどうかはまだ不明です。それにもかかわらず、この2つの比較はますます注目される研究分野になっており、そこから何かを学ぶことができるようです。

*たとえば、CNNの初期視覚システム/最初のレイヤーで使用される表現は、自然画像の最適なスパースベースです。

私たちが実際に学んだことは、スパースアクティベーションの使用と線形修正アクティベーション関数の使用です。後者は基本的に1つの理由です。この種の活性化関数を使用すると、ニューラルネットワークと呼ばれる人工計算ネットワークのトレーニング費用が劇的に低下するため、いわゆるニューラルネットワークに関する活動が爆発的に増加しました。

私たちが学んだことは、シナプスとニューロンがこのように構築される理由と、それが望ましい理由です。これらの線形整流アクティベーション（f（x）：= x> a？x：0）は、スパースなアクティベーション（「ニューロン」（重み）のごく一部のみ）をアクティブにします。

したがって、知識が生物学的機能に向かっている間に私たちが行うことは、なぜこれが進化によって選択され、好まれたのかを理解しています。これらのシステムは十分であるが、トレーニング中のエラー制御に関しても安定しており、脳内のエネルギーや化学的/生物学的リソースなどのリソースを保存することも理解しています。

私たちは、脳がそれが何であるかを単に理解しています。また、情報の考えられる流れと関連する情報処理について理解し、戦略を確認することで、主題に関する仮説を構築および評価することができます。

たとえば、10年前に私が思い出すことができるのは、自然な話し言葉を学習するシステムのトレーニングであり、言語を話す赤ちゃんの類推的な行動を再構築する同様の問題をシステムが示したことが発見されました。異なる種類の言語の学習の違いでさえ、十分に似ていました。

したがって、このアプローチと設計を研究することにより、言語学習中の人間の情報処理は、言語関連の問題に対するトレーニングの推奨と治療を引き出すのに十分類似しており、人間の困難を支援および理解し、より効率的な治療を開発するのに役立つと結論付けられました実際にそれを実際に作ったのは別の質問です）。

1か月前、3Dナビゲーションとラットの脳の記憶が実際にどのように機能するかについての記事を読み、すべての発見について計算モデルを作成することで、実際に何が起こっているかを理解するのに非常に役立ちました。そのため、人工モデルは生物系で観察されたものの空白を埋めました。

神経科学者が、回路、情報の流れ、論理処理ユニットについて話している生物学者よりもエンジニアの言語を組み合わせた言語を使用していることを知ったとき、本当に驚きました。

人工知能ネットワークから多くのことを学んでいます。なぜなら、脳の構造が何であるのか、そして進化が代替の方法よりもなぜこれを好むのかについて、ルールと保証を導き出すことができる経験的な遊び場を私たちに提示するからです。

まだ多くの空白がありますが、私が読んだことから-最近CNNなどに興味を持ちましたが、2000年代初頭の大学時代に人工AI、ファジーロジック、ニューラルネットワークを使用していました。

そのため、私は10年分の開発と発見に追いつき、その結果、ニューラルネットワークとAI分野のすべての科学者と実践者に感謝しました。よくやった人々、本当によくやった！