2004年、パームパイロットの発明者であるジェフホーキンスは、On Intelligenceと呼ばれる非常に興味深い本を出版しました。
この理論はメモリー予測フレームワークと呼ばれ、ボトムアップ（フィードフォワード）だけでなく、トップダウンの情報処理や、異なる将来のシナリオを同時に、しかし個別に予測する能力（説明されているように）この論文では）。
Memory-Predictionフレームワークの約束は、将来の可能性の安定した高レベル表現の教師なし生成です。おそらく、AIの多くの研究分野に革命をもたらす何か。
ホーキンスは会社を設立し、彼のアイデアを実行しました。残念なことに、10年以上後、彼のアイデアの約束はまだ果たされていません。これまでのところ、実装は異常検出にのみ使用されていますが、これは実際に実行したいことの反対です。理解を抽出する代わりに、人工皮質が理解できないインスタンスを抽出します。
私の質問は、ホーキンスのフレームワークがどのように不足するかです。彼の理論が実際に機能することをこれまで妨げている具体的または概念的な問題は何ですか？
回答:
簡単な答えは、ホーキンスのビジョンはまだ広くアクセス可能な方法、特に予測に必要な不可欠な部分でまだ実装されていないということです。
長い答えは、数年前にホーキンスの本を読んで、Hierarchical Temporal Memory（HTM）の可能性に興奮したことです。私は、意識、自由意志、および他のそのようなトピックの意味に関する彼の哲学的考察のいくつかについていくつかの留保を持っているという事実にもかかわらず、今でもそうです。これらの不安については、HTMネットがこれまで期待されたほど成功しなかった主な圧倒的な理由とは関係がないので、ここでは詳しく説明しません：私の知る限り、Numentaは彼のビジョンの切り捨てられたバージョンのみを実装しています。彼らは、ホーキンスの理論において非常に重要な役割を果たす予測アーキテクチャのほとんどを省略しました。Gerod M. BonhoffがHTM に関する優れた論文1で述べたように、
Numentaが採用した最も重要な設計上の決定は、階層内のフィードバックを排除し、代わりに重み付けにデータプーリングアルゴリズムのみを使用してこの理論的概念をシミュレートすることでした。この決定はすぐに疑われ、HTMの主要な概念に違反します。ホーキンスが主張するフィードバックは、皮質機能に不可欠であり、彼の理論の中心です。それでも、Numentaは、HTMに適用可能な問題のほとんどは、実装と独自のプーリングアルゴリズムを使用して解決できると主張しています。」
私はまだこの分野でロープを学んでおり、NumentaがHawkinsのアイデア、特にすべての重要な予測アーキテクチャの完全な実装を支持してこのアプローチを廃止したかどうかは言えません。たとえそれらがあったとしても、この設計上の決定はおそらく採用を何年も遅らせたでしょう。それ自体は批判ではありません。おそらく、予測値の追跡とその場での更新の計算コストは、ニューラルネット処理の通常のコストに加えて、当時は負担するには多すぎて、独自のプーリングなどの半分の手段を試す以外の方法はありませんでしたメカニズム。それにもかかわらず、それ以降、私がこのトピックで読んだ最高の研究論文のすべては、予測機能が欠けているために、Numentaのプラットフォームに依存するのではなく、アルゴリズムを再実装することを選択しました。ボローニャ大学生体認証システム研究所向けのマルトーニの技術レポート2。ただし、これらすべてのケースで、バリアントHTMをすぐに使用するための簡単にアクセスできるソフトウェアはありません（私の知る限り）。これらすべての要点は、GK Chestertonのキリスト教に関する有名な格言のように、「HTMは試されたがなく、欲求を見つけられなかった。彼らは困難であり、試されていなかった」。Numentaは予測手順を省略したため、HTMのあり方に関するHawkinsの完全なビジョンをコーディングしたい人を待っている主な障害になると思います。
1 Bonhoff、Gerod M.、2008、異常なネットワークアクティビティを検出するための階層的一時メモリの使用。2008年3月、オハイオ州ライトパターソン空軍基地の空軍工科大学で発表。
2 Maltoni、Davide、2011年、階層的一時記憶によるパターン認識。2011年4月13日発行のDEISテクニカルレポート。ボローニャ大学生体認証システム研究所：ボローニャ、イタリア。
生産準備ができて10年ですか？
それを視点に入れましょう。パーセプトロンは1957年に導入されました。1986年にPDPの本がリリースされるまで、実際に使用可能なモデルとして開花することさえありませんでした。
PDPの本からは、過去10年まで使用可能なディープネットワークとして詳しく説明されていませんでした。Andrew NgとJeff Deanの猫認識タスクを、2012年のイベントを定義する深いネットワークとしてとると、間違いなく25年以上の生産準備が整います。