人間の脳とニューラルネットワークの電力効率

計算のための総エネルギーバジェットが人間の脳のエネルギーバジェット（12.6ワット）と同等である場合、どのくらい大きな人工ニューラルネットワークを実行できますか（完全なtrain-backpropサイクルまたはネットワーク出力の評価のみ）。

1秒あたり1サイクルを想定します。これは、生体ニューロンの発火率にほぼ一致すると思われます。

12.6ワットで1億2600万の人工ニューロン、IBMのTrue North

2014年に戻って、IBMのTrue Northチップは100mW未満で100万のニューロンを押していました。

つまり、12.6ワットで約1億2600万の人工ニューロンになります。

マウスは 7000万ニューロンを持っています。

IBMは、人間の脳規模のTrue Northメインフレームを「単なる」4kWで構築できると信じています。

3Dトランジスタが市場に出たら、動物の脳の効率にかなり早く追いつくと思います。

自分を12.6ワットに制限した場合、あまり成果が得られません。最新のGPUの消費電力を調べ、人々がそれらについてトレーニングしているネットワークのサイズを確認してから、スケールダウンしてください。参考までに、最近のGPUは、頻繁に使用すると52〜309ワットを消費するようです。

明らかに、エネルギー効率は、人間の脳がいまだにANNのはるか先を行っている領域の1つです。