なぜニューラルネットワークとディープラーニングをダンプしないのですか？[閉まっている]

一般的なディープラーニングとニューラルネットワークの基本的な問題。

1. トレーニングデータに適合するソリューションは無限です。単一の方程式だけで満たされ、最も一般化できると言える正確な数学方程式はありません。単純に言えば、どれが最も一般化するのかわかりません。

2. 重みの最適化は凸面の問題ではないため、グローバルミニマムまたはローカルミニマムになることは決してありません。

それでは、なぜニューラルネットワークをダンプして、代わりにより良いMLモデルを検索しないのですか？私たちが理解していること、そして一連の数学的な方程式と一致する何か？線形およびSVMにはこの数学的な欠点はなく、一連の数学方程式と完全に一致しています。同じラインで考えて（線形である必要はありません）、線形およびSVMおよびニューラルネットワークとディープラーニングよりも優れた新しいMLモデルを考え出すのはなぜですか？

1. どのソリューションが最も一般化されているかを知ることができないことは問題ですが、それ以外の場合は良いソリューションを使用することを思いとどまるべきではありません。人間自身は、何が最も一般化するかを知らないことがよくあります（たとえば、物理学の統一理論の競合を考慮してください）が、それは私たちに多くの問題を引き起こしません。

2. トレーニングがローカルミニマムのために失敗することは非常にまれであることが示されています。ディープニューラルネットワークのローカルミニマムのほとんどは、グローバルミニマムの値に近いため、これは問題ではありません。ソース

しかし、より広い答えは、非凸性とモデル選択について終日話すことができるということです、そして、人々は（少なくとも画像分類のようなもので）他のものよりも優れているという理由だけでニューラルネットワークを使用し続けます。

もちろん、数十年前にコミュニティがSVMに焦点を合わせていたように、CNNにあまり焦点を合わせるべきではなく、代わりに次の大きなものを探し続けるべきだと主張する人々もいます。特に、CNNの有効性を研究を妨げる可能性のあるものとして後悔していることをHintonが覚えていると思います。関連する投稿

あなたの質問へのコメントが指摘するように、より良いものを見つけることに取り組んでいる多くの人々がいます。しかし、@ joshが残したコメントを展開して、この質問に答えたいと思います。

すべてのモデルは間違っていますが、一部のモデルは便利です （Wiki）

上記の説明は、統計モデルの性質を説明するために使用される一般的な真実です。利用可能なデータを使用して、予測値の近似などの有用なことを実行できるモデルを作成できます。

たとえば、線形回帰

多数の観測値を使用して、独立変数の任意の値が与えられた場合に、従属変数の近似値を与えるためにモデルを近似できます。

バーナム、KP; Anderson、DR（2002）、Model Selection and Multimodel> Inference：A Practical Information-Theoretic Approach（2nd ed。）：

「モデルは現実の単純化または近似であり、すべての現実を反映するわけではありません。...ボックスは「すべてのモデルは間違っていますが、一部は有用です。」と述べました。非常に有用なものから有用なもの、やや有用なもの、最終的には本質的に役に立たないものまでランク付けされます。」

モデルからの偏差（上の画像に見られるように）はランダムに見え、一部の観測値は線より下にあり、一部は上にありますが、回帰線は一般的な相関関係を示しています。モデルの偏差はランダムに見えますが、現実的なシナリオでは、この偏差の原因となる他の要因があります。たとえば、ジャンクションを通り抜ける車を見て、左または右に曲がり続ける必要がある場合を考えてみましょう。車は特定のパターンで曲がりません。車が曲がる方向は完全にランダムであると言えますが、すべてのドライバーはジャンクションに到達し、その時点でどの方向に曲がるかをランダムに決定しますか？実際には、彼らはおそらく特定の理由で特定の場所に向かっているので、それぞれの車を止めて彼らの推論を尋ねることなく、彼らの行動をランダムとして記述することができます。

最小の偏差でモデルを適合させることができる場合、未知の、気付かない、または測定できない変数が、ある時点でモデルをスローしないことをどの程度確信できますか？ブラジルの蝶の羽ばたきは、テキサスの竜巻を引き起こしますか？

単独で言及した線形モデルとSVNモデルを使用する場合の問題は、変数とそれらが互いにどのように影響するかを手動で観察する必要があることです。次に、重要な変数を決定し、タスク固有のアルゴリズムを作成する必要があります。変数が数個しかない場合は簡単ですが、数千個ある場合はどうでしょうか？一般化された画像認識モデルを作成したい場合、このアプローチでこれを現実的に達成できますか？

ディープラーニングと人工ニューラルネットワーク（ANN）は、大量の変数（画像ライブラリなど）を含む巨大なデータセットの有用なモデルを作成するのに役立ちます。おっしゃるように、ANNを使用してデータに適合することができる理解できない数のソリューションがありますが、この数は、試行錯誤を繰り返して開発する必要があるソリューションの量と実際には異なりますか？

ANNのアプリケーションは多くの作業を行い、入力と目的の出力を指定し（後で調整して改善する）、ANNに任せて解決策を見つけます。これが、ANNがしばしば「ブラックボックス」と呼ばれる理由です。与えられた入力から、それらは近似値を出力しますが、（一般的な用語では）これらの近似値には、それらがどのように近似されたかの詳細は含まれません。

そのため、どのモデルアプローチがより有用かは問題によって決まるため、実際に解決しようとしている問題に帰着します。モデルは完全に正確ではないため、常に「間違った」要素がありますが、結果が正確であればあるほど有用です。近似がどのように行われたかについての結果をより詳細に把握することも有用です。問題によっては、精度を上げるよりもさらに役立つ場合があります。

たとえば、個人のクレジットスコアを計算する場合、回帰とSVMを使用すると、より詳細に調査できる計算が提供されます。モデルを直接調整し、個別の独立変数が全体のスコアに与える影響を顧客に説明できることは非常に便利です。ANNは、より正確なスコアを達成するために大量の変数を処理するのに役立ちますが、この精度はより有用ですか？

グローバルミニマムは役に立たない場合もあるので、見つけるかどうかはあまり気にしません。その理由は、深いネットワークの場合、ネットワークサイズが大きくなるにつれて、それを見つける時間が指数関数的に長くなるだけでなく、グローバルな最小値がトレーニングセットの過剰適合に対応することがよくあります。したがって、DNNの一般化機能（これが本当に重要なことです）が損なわれます。また、多くの場合、損失関数の値が低い場合のシャープな最小値よりも、損失関数の値が高い場合のフラットな最小値の方が好まれます。これは、ベイジアンディープラーニングの開発によりますます明確になっています。ロバスト最適化は、不確実性が重要な実世界の問題に適用される場合、決定論的最適化を頻繁に破ります。

最後に、DNNが画像分類やNLPでのXGBoostなどのメソッドのケツを蹴るのは事実です。画像分類から利益を上げなければならない会社は、実稼働で展開するモデルとしてそれらを正しく選択します（そして、機能エンジニアリング、データパイプラインなどに多額のお金を投資しますが、私は脱線します）。これは、すべてのML環境を支配していることを意味するものではありません。たとえば、構造化データではXGBoostよりも劣っています（Kaggleコンテストの最後の勝者を参照してください）。また、時系列モデリングでのパーティクルフィルターと同様に、まだそうではないようです。ただし、RNNのいくつかのごく最近の革新により、この状況が修正される可能性があります。

この問題について考える最良の方法は、競争の激しい市場を通じてであると思います。ディープラーニングをダンプし、競合他社がそれを使用し、使用したものよりもうまく機能する場合、市場でbeatられます。

私はそれが部分的に今日起こっていることだと思います。つまり、ディープラーニングは市場のあらゆる問題に対して何よりもうまく機能しているようです。たとえば、ディープラーニングを使用するオンライン言語翻訳者は、以前に使用されていた純粋な言語アプローチよりも優れています。ほんの数年前はそうではありませんでしたが、ディープラーニングの進歩により、市場でリーダーシップを発揮していた人々がいました。

「市場」を繰り返し続けているのは、それが現在のディープラーニングの急増を推進しているからです。ビジネスが何か有用なものを見つけた瞬間、その何かが広まるだろう。ディープラーニングを普及させるべきだと決定したのは、委員会である私たちではありません。それはビジネスと競争です。

2番目の部分は、MLの実際の成功に加えて、ボートを見逃す恐れもあるということです。多くの企業は、AIを見逃すと企業として失敗するという妄想を抱いています。この恐怖は、これらすべてのコンサルティング会社、ガートナーなどによって与えられており、CEOに明日AIをやるか死ななければならないとささやきます。

企業がディープラーニングを使用することを強制する人はいません。ITとR＆Dは新しいおもちゃに興奮しています。アカデミアの応援、このパーティーは音楽が停止するまで、つまりディープラーニングの配信が停止するまで続きます。それまでの間、それをダンプして、より良い解決策を考え出すことができます。

優れた答えがありますが、ほとんどがDLとANNの有用性に重きを置いています。しかし、OPはより根本的な方法で異議を唱えたいと思います。なぜなら、この質問はすでにニューラルネットワークの数学的矛盾を当然のことと考えているからです。

まず第一に、そこにあるニューラルネットワーク（のほとんどのモデル）の背後にある数学的理論は。同様に、基礎となるモデルが...線形でない限り、線形回帰は一般化しないと主張することができます。ニューラルアルゴリズムでは、（明示的ではない場合でも）モデルが想定され、フィッティングエラーが計算されます。アルゴリズムがさまざまなヒューリスティックで変更されているという事実は、元の数学的サポートを無効にしません。ところで、局所的な最適化は、数学的に一貫した理論であり、有用なことは言うまでもありません。

この線に沿って、ニューラルネットワークが科学者のツールボックス全体でメソッドの1つのクラスを構成する場合、それはニューラルネットワークを他の技術から分離する線ですか？実際、SVMはかつてNNのクラスと見なされていましたが、依然として同じ本に登場しています。一方、NNは（非線形）回帰手法と見なすことができますが、おそらく簡略化されています。OPに同意します。NNとしてラベル付けするかどうかに関係なく、より適切で根拠のある効率的なアルゴリズムを検索する必要があります。

数学的な厳密さや単純さではなく、実用性に重点を置いている問題については、画像処理におけるパターン認識などの特定のタスクを実行する上で、ニューラルネットワークの方が優れていると思います。

この質問にはたくさんのことがあります。あなたが書いたものを一つ一つ見ていきましょう。

トレーニングデータに適合するソリューションは無限です。単一の方程式だけで満たされ、最も一般化できると言える正確な数学方程式はありません。

無限の多くの解決策があるという事実は、学習問題が不適切な問題であることに由来するため、最も一般化された単一の問題は存在し得ません。また、無料の昼食定理では、どの方法を使用しても、すべての学習問題で最良であることを保証することはできません。

単純に言えば、どれが最も一般化するのかわかりません。

この文は実際には正しくありません。Vapnik＆Chervonenkisによる経験的リスク最小化には、サンプル数、学習方法のVC次元、一般化エラーを結び付ける定理があります。これは、特定のデータセットにのみ適用されることに注意してください。したがって、データセットと学習手順が与えられると、一般化の限界がわかります。異なるデータセットについては、無料の昼食定理がないため、単一の最良の学習手順は存在せず、あり得ないことに注意してください。

重みの最適化は凸面の問題ではないため、グローバルミニマムまたはローカルミニマムになることは決してありません。それでは、なぜニューラルネットワークをダンプして、代わりにより良いMLモデルを検索しないのですか？

ここでは、覚えておく必要のあることがいくつかあります。非凸問題の最適化は、凸問題ほど簡単ではありません。それは本当です。ただし、凸型の学習メソッドのクラスは制限され（線形回帰、SVM）、実際には、さまざまな問題で非凸のクラス（ブースティング、CNN）よりもパフォーマンスが低下します。したがって、重要な部分は、実際にはニューラルネットが最適に機能することです。ニューラルネットをうまく機能させる非常に重要な要素がいくつかありますが、

1. 確率的勾配降下により、非常に大きなデータセットに適用できます。
2. SVMとは異なり、ディープネットの推論はデータセットに依存しません。これにより、テスト時にニューラルネットが効率的になります。
3. ニューラルネットを使用すると、レイヤーを追加したり、レイヤーを大きくしたりするだけで、学習能力を直接制御することができます（パラメーターの数を考える）。これは非常に重要です。異なるデータセットでは、より大きなまたはより小さなモデルが必要になる場合があるためです。

私たちが理解していること、そして一連の数学的な方程式と一致する何か？線形およびSVMにはこの数学的な欠点はなく、一連の数学方程式と完全に一致しています。同じラインで考えて（線形である必要はありません）、線形およびSVMおよびニューラルネットワークとディープラーニングよりも優れた新しいMLモデルを考え出すのはなぜですか？

それらを理解していないために機能するものをダンプすることは、優れた研究の方向性ではありません。一方、それらを理解する努力をすることは、素晴らしい研究の方向です。また、ニューラルネットワークが数式と矛盾していることに同意しません。それらは非常に一貫しています。それらを最適化し、推論を実行する方法を知っています。

実験的な観点からニューラルネットワークを表示するのはどうですか？それらを作成したからといって、それらを直感的に理解する義務があるわけではありません。または、彼らが何をしているのかをよりよく把握するために、彼らと遊ぶことは許可されていません。

ここに私が考えているいくつかの考えがあります：

• 構造：それらは階層です。入力を共有するツリーのようなものです。ルートは入力であり、リーフは出力レイヤーです。レイヤーが出力に近いほど、出力との関連性が高くなり、レイヤーに含まれる抽象化のレベルが高くなります（ピクセルよりも画像の方が重要です）。
• 機能：データを「再生」し、「クリック」するまでニューロン（重み）の関係を実験します（エラーマージンは許容範囲です）。

これは私たちの考え方と一致しています。科学的方法がどのように機能するかについても一貫しています。したがって、ニューラルネットワークをクラッキングすることで、知識が表すものの一般的な問題を解決することもできます。

LM、GLM、マルチレベルモデリングを使用する膨大な研究分野があることを忘れないでください。最近のベイジアン手法とハミルトニアンモンテカルロ（STANコミュニティは本当に最先端にあります）が成熟し、STANによって本当に簡単に解決され、NNやディープネットを本当に必要としない多くの問題が生じています。社会科学研究、ミクロ経済学は、スタンを急速に採用しているそのような分野の2つの（大きな）例です。

Stanモデルは非常に「読みやすい」ものです。係数には実際に事後分布の解釈があり、予測も同様です。事前分布はデータ生成プロセスの一部であり、パフォーマンスを向上させるために共役である必要はありません（ギブのように）。スタンに適合したモデルは喜びです。実際に厄介なMCMCパラメータを自動的に調整し、探索が本当に素晴らしい視覚化で立ち往生しているときに警告します。

まだ試していない場合は、ここで素晴らしいスタンデモをご覧ください）。

結局のところ、この分野の研究と問題はNNほど「セクシー」/「クール」ではないため、人々はこのことについてあまり語らないと思います。

通常、数学的な一貫性がない場合（この場合は少なくともニューラルネットワークの場合）に何が起こるか...テストセットで希望どおりの結果が得られない場合、上司が戻ってきて言います...ドロップアウト（どのウェイト、どのレイヤー、頭痛の数は決定する数学的な方法がないので）を試してみてください。体重減少を試してみませんか？後で、なぜいくつかのレイヤーでReLUまたは他のアクティベーションを試してみませんか？それでも、「最大プーリング」を試してみませんか？それでもない、バッチ正規化を試してみてください、まだない、または少なくとも収束しますが、望ましい結果ではありません、ああ、あなたは局所的な最小値にあり、異なる学習率のスケジュールを試してください ネットワークアーキテクチャを変更するだけですか？上記のすべてを異なる組み合わせで繰り返します！あなたが成功するまでループに保管してください！

一方、収束後、一貫性のあるSVMを試す場合、結果が良くない場合は、使用している線形カーネルはデータが線形ではない可能性があるため十分ではありません。別の形状のカーネルを使用してください。何かしらの形がある場合は別の形のカーネル、まだない場合はそのままにしておきます。これはSVMの制限です。

私が言っているのは、ニューラルネットワークが非常に一貫していないため、それも間違いではないということです！それはその敗北を決して受け入れません！エンジニア/設計者は、希望どおりに機能しない場合に負担を負います。