ディープラーニングアプローチの問題と代替策

過去50年にわたり、ニューラルネットの人気の上昇/下降/上昇は、AI研究の「バロメーター」のような役割を果たしてきました。

このサイトの質問から、人々がディープラーニング（DL）をさまざまな困難な問題に適用することに関心を持っていることは明らかです。

したがって、2つの質問があります。

1. プラクティショナー-DLを「箱から出して」問題に適用する際の主な障害は何ですか？
2. 研究者-実際の問題に対処するのに役立つ可能性のあるテクニックを使用していますか（開発しましたか）？それらはDL内にありますか、それとも代替アプローチを提供しますか？

要約すると、適用されるディープラーニングには2つの大きな問題があります。

• 1つ目は、計算量が多いことです。通常のCPUでは、ディープラーニングを使用した基本的な計算/トレーニングも実行するのに多くの時間が必要です。したがって、GPUをお勧めしますが、多くの状況では十分ではない場合もあります。典型的な深層学習モデルは、多項式になるための理論的な時間をサポートしていません。ただし、同じタスクについてMLの比較的単純なモデルを見ると、そのような単純なアルゴリズムに必要なトレーニング時間が多項式であることが数学的に保証されていることがよくあります。これは、少なくとも私にとっては、おそらく最大の違いです。

  ただし、この問題に対処する解決策があります。主なアプローチの1つは、DLアルゴリズムを多数の反復のみに最適化することです（実際にグローバルソリューションを調べる代わりに、アルゴリズムを適切なローカルソリューションに最適化しますが、「Good」の基準はユーザーが定義します）。

• 若いディープラーニング愛好家にとって少し議論の余地があるかもしれない別の問題は、ディープラーニングアルゴリズムが理論的な理解と推論を欠いていることです。ディープニューラルネットワークは、手書き認識、画像処理、自動運転車、信号処理、NLP、生物医学解析など、多くの状況で使用されています。これらのケースのいくつかでは、彼らは人間を上回っています。しかし、それは言われていることですが、それらはどのような状況下でもなく、理論的にはほとんどの統計的方法と同じくらい健全です。

  詳細には触れませんが、それはあなたにお任せします。すべてのアルゴリズム/方法論には長所と短所があり、DLも例外ではありません。多くの状況で実証されているように非常に有用であり、すべての若いデータサイエンティストは少なくともDLの基礎を学ばなければなりません。ただし、比較的単純な問題の場合、有名な統計的手法を使用する方が、それらをサポートする理論的結果/保証がたくさんあるため、より良い方法です。さらに、学習の観点から、単純なアプローチから始めて、それらを最初に習得することは常に良いことです。

私はML / DLを使って自分を開業医と呼ぶ経験はほとんどありませんが、最初の質問に対する私の答えは次のとおりです。

そのコアで、DLは分類のタスクを十分に解決します。すべての実用的な問題を分類に関して言い換えることはできません。分類ドメインは事前に知っておく必要があります。分類はどのタイプのデータにも適用できますが、NNを適用する特定のドメインのサンプルでNNをトレーニングする必要があります。同じモデル（NN構造）を維持したまま、ある時点でドメインを切り替えた場合、新しいサンプルで再トレーニングする必要があります。さらに、最良の分類器にも「ギャップ」があります- 敵対者の例はトレーニングサンプルから簡単に構築できるため、変更は人間には知覚できませんが、トレーニングされたモデルによって誤分類されます。

質問2。ハイパーディメンションコンピューティングがディープラーニングの代替手段であるかどうかを調査しています。Hyper-Dは、非常に長いビットベクトル（10,000ビット）を使用して情報をエンコードします。ベクトルはランダムであるため、ほぼ直交しています。このようなベクトルのコレクションをグループ化して平均化することで、「セット」を作成し、後でそのセットに未知のベクトルが属しているかどうかを照会することができます。セットは概念または一般化イメージなどと見なすことができます。認識と同様にトレーニングは非常に高速です。行う必要があるのは、ディープラーニングが成功したドメインをシミュレートし、Hyper-Dと比較することです。

数学の観点から、いくつかの層を持つ深いネットワークでの主要な問題の1つは、消失または不安定な勾配です。隠れ層が追加されるたびに学習速度が大幅に低下し、追加層の利点がほとんど無効になります。

現代の深層学習アプローチはこの振る舞いを改善することができますが、単純で昔ながらのニューラルネットワークでは、これはよく知られている問題です。詳細な研究のために、ここでよく書かれた分析を見つけることができます。