深層学習について、VCディメンションは何を教えてくれますか？

基本的な機械学習では、次の「経験則」を学びます。

a）データのサイズは、仮説セットのVCディメンションのサイズの少なくとも10倍にする必要があります。

b）N個の接続を持つニューラルネットワークのVC次元は約Nです。

ディープラーニングニューラルネットワークが数百万のユニットを言うとき、これは、たとえば数十億のデータポイントが必要であることを意味しますか？これに光を当ててください。

あなたが話している経験則は、ニューラルネットワークには適用できません。

ニューラルネットワークには、いくつかの基本的なパラメーター、つまりその重みとバイアスがあります。重みの数はネットワークレイヤー間の接続の数に依存し、バイアスの数はニューロンの数に依存します。

必要なデータのサイズは大きく依存します-

1. 使用されるニューラルネットワークのタイプ。
2. ネットで使用される正則化手法。
3. ネットのトレーニングで使用される学習率。

つまり、モデルが過適合であるかどうかを確認するより適切で確実な方法は、検証エラーがトレーニングエラーに近いかどうかを確認することです。はいの場合、モデルは正常に機能しています。いいえの場合、モデルは過剰適合である可能性が高いため、モデルのサイズを小さくするか、正則化手法を導入する必要があります。