8 私はディープラーニングが初めてなので、これは簡単な質問かもしれません。しかし、ディープラーニング（またはニューラルネットワーク）が小さなラベル付きデータでうまく機能しないのはなぜでしょうか。私が読んだ研究論文が何であれ、それらのデータセットは巨大です。私たちの脳はそれ自体を訓練するのに多くの時間を費やすので、直感的には驚くことではありません。しかし、そのような場合にニューラルネットワークがうまく機能しない数学的証明や理由はありますか？ neural-networks deep-learning — Bluechill ソース
11 典型的なディープラーニングモデルで使用されるニューラルネットワークには、多くの層を持つ非常に多くのノードがあり、したがって推定する必要のある多くのパラメーターがあります。これには大量のデータが必要です。小さなニューラルネットワーク（層が少なく、自由パラメーターが少ない）は、小さなデータセットで正常にトレーニングできますが、これは通常「ディープラーニング」とは言えません。 — ドコーニー ソース 3 +1。モデルの複雑さは、常にサンプルサイズとともにゆっくりと増大するだけであり、ディープラーニングはかなり複雑なモデルであるため、通常、小さなサンプルサイズではうまく機能しません。Elements of Statistical Learning（無料でダウンロード可能）はこれについて議論しています-強くお勧めします。 — Stephan Kolassa、2015 ありがとう。それでも、小さなデータを使用してモデルを学習しようとすると、モデルをオーバーフィットすることになりますか？ — bluechill 2015 3 モデルのパラメーターの数に比べてデータ量が少ない場合は、オーバーフィットする可能性が高くなります。これは、どのモデルにも当てはまります。これを回避するためにモデルにレギュラライザー（たとえば、大きなウェイトにペナルティを課す、入力データにノイズを追加する、非表示の単位を削除するなど）を追加できますが、それは現時点では科学というよりは芸術のようなものです。 — lmjohns3 2015