なぜVCの次元が悪いにも関わらず、ディープラーニングが宣伝されるのですか？

Vapnik-Chervonenkis（VC）-dimensionニューラルネットワークのための式の範囲にと、最悪の場合、でエッジの数であり、ノードの数です。一般化を強力に保証するために必要なトレーニングサンプルの数は、VC次元に比例します。$O(E)$$O(E^2)$$O(E^2V^2)$$E$$V$

つまり、成功するディープラーニングモデルの場合のように、数十億のエッジを持つネットワークの場合、トレーニングデータセットには、最良の場合は数十億、最悪の場合は数千個のトレーニングサンプルが必要です。現在、最大のトレーニングセットには約1,000億のサンプルがあります。十分なトレーニングデータがないため、深層学習モデルが一般化されている可能性は低いです。代わりに、彼らはトレーニングデータをオーバーフィットしています。これは、モデルがトレーニングデータとは異なるデータに対してうまく機能しないことを意味します。これは、機械学習にとって望ましくない特性です。

深層学習が一般化できないことを考えると、VCの次元分析によれば、なぜ深層学習の結果はそれほど誇大宣伝されているのでしょうか？一部のデータセットで単に高い精度を持っているだけでは、それだけでは意味がありません。深層学習アーキテクチャについて、VC次元を大幅に削減する特別なものはありますか？

VC次元分析に関連性がないと思われる場合は、深層学習が一般化されており、過剰適合ではないという証拠/説明を提供してください。すなわち、それは良いリコールと精度を持っていますか、それとも単に良いリコールを持っていますか？100％の再現率は、100％の精度と同様、簡単に達成できます。両方を100％に近づけることは非常に困難です。

反対の例として、ディープラーニングが過剰適合であるという証拠があります。過適合モデルは、決定論的/確率的ノイズを組み込んでいるので、だまされやすいです。オーバーフィッティングの例については、次の画像を参照してください。

また、テストデータの精度が高いにもかかわらず、オーバーフィットモデルの問題を理解するには、この質問に対する下位の回答を参照してください。

正則化が大きなVC次元の問題を解決すると回答した人もいます。詳細については、この質問を参照してください。

「マップと地形が一致しない場合は、地形を信頼してください。」

ディープラーニングが機能するのと同じように機能する理由は実際には理解されていませんが、VC次元などの学習理論の古い概念はあまり役に立たないようです。

問題は熱く議論されています。例：

• HW Lin、M。Tegmark、D。Rolnick、なぜ深くて安価な学習がこれほどうまく機能するのか？
• C. Zhang、S。Bengio、M。Hardt、B。Recht、O。Vinyals、ディープラーニングの理解には一般化の再考が必要です。
• D. Krueger、B。Ballas、S。Jastrzebski、D。Arpit、MS Kanwal、T。Maharaj、E。Bengio、A。Fischer、A。Courville、Deep Nets Dont Learn Via Memorization。

敵対的な例の問題に関して、問題は次の場所で発見されました。

• C.セゲディ、W。リュー、Y。ジア、P。セルマネ、S。リード、D。アンゲロフ、D。エルハン、V。ヴァンホッケ、A。ラビノビッチ、畳み込みにより深く進む。

以下でさらに開発されています。

• I.グッドフェロー、J. Shlens、C. Szegedy、敵対例を説明すると活用。

多くの後続作業があります。

「VC次元分析によると、ディープラーニングが一般化できないことを考慮して[...]」

いいえ、VCの寸法解析ではそうではありません。VC次元解析は、一般化が保証される十分な条件を提供します。しかし、その逆は必ずしもそうではありません。これらの条件を満たさなくても、MLメソッドは一般化される可能性があります。

別の言い方をすれば、ディープラーニングは、VC次元分析が期待するよりも優れている（VC分析の「予測」よりも優れている）。これは、深層学習の欠点ではなく、VC次元分析の欠点です。ディープラーニングに欠陥があることを意味するものではありません。むしろ、ディープラーニングが機能する理由がわからないことを意味します。VC分析では有用な洞察を提供できません。

高いVCディメンションは、ディープラーニングがだまされる可能性があることを意味するものではありません。VCの高次元は、実際の状況でだまされる可能性があるかどうかについては何も保証しません。VCディメンションは、一方向の最悪の場合の限界を提供します。これらの条件を満たせば良いことが起こりますが、これらの条件を満たさなければ、何が起こるかわかりません（とにかく、良いことはまだ起こります自然は、最悪の場合よりも優れた動作をします; VC分析では、良いことが起こらない / 起こらないとは約束されていません）。

モデル空間のVC次元は大きい可能性があります（可能な限り非常に複雑なパターンが含まれます）が、性質は単純なパターンで説明され、MLアルゴリズムは自然に存在する単純なパターンを学習します（たとえば、正則化のため）- -この場合、VC次元は高くなりますが、モデルは一般化されます（自然に存在する特定のパターンに対して）。

とはいえ、ディープラーニングは敵対的な例にだまされる可能性があるという証拠が増えています。ただし、推論の連鎖には注意してください。あなたが描いている結論は、あなたが始めた前提からは従いません。

業界の人々は、VCの次元、フーリガンを無視しています

もっと深刻なことに、PACモデルは（少なくとも私の意見では）学習を考える上でエレガントな方法であり、興味深い概念や質問（VCの次元やサンプルの複雑さへの接続など）を生み出すほど複雑です。 、実際の生活の状況とはほとんど関係ありません。

PACモデルでは、任意の分布を処理する必要があるため、アルゴリズムは敵対的分布を処理する必要があることを忘れないでください。現実の世界でいくつかの現象を学ぼうとすると、誰もあなたの結果を台無しにする「敵対的データ」を与えないので、概念クラスをPACで学習できるように要求するのは強すぎるかもしれません。特定の分布クラスに対して、VCディメンションとは無関係に一般化エラーをバインドできる場合があります。これは、VCディメンションとは無関係に定式化されるマージン境界の場合です。高い経験的マージンを保証できる場合、一般化エラーが少ないことを約束できます（もちろん、すべての分布で発生するわけではありません。たとえば、平面上の2つの近接点を反対のタグで取り、分布に焦点を合わせます）。

PACモデルとVCディメンションを別にすると、誇大広告は機能しているように見え、以前は不可能だったタスクに成功していることに起因すると思います（頭に浮かぶ最新の成果の1つはAlphaGoです）。私はニューラルネットについてほとんど知らないので、より多くの経験を積んだ人が参加することを望んでいますが、私の知る限り、まだ十分な保証はありません（明らかにPACモデルとは異なります）。おそらく、正しい仮定の下で、ニューラルネットの成功を正式に正当化することができます（ニューラルネットの正式な取り扱いと「ディープラーニング」に関連する作業があると思います。 。

ディープラーニングが一般化できないことを考えると、

どこから取ったのかわかりません。経験的に、一般化は、目に見えないデータのスコア（精度など）と見なされます。

なぜCNNが使用されるのかという答えは簡単です。CNNは他の何よりも優れた機能を発揮します。例については、ImageNet 2012を参照してください。

• CNN：15.315％（これは初期の例でした。CNNの方がはるかに優れています。約4％のトップ5エラー）
• 最高の非CNN：26.172％のトップ5エラー（ソース -CNNを使用しない私の知識のテクニックまでは、25％のトップ5エラーを下回らなかった）

より優れた分類器を作成すると、人々はそれに移行します。

更新：ディープラーニングのこの証拠のように、機械学習全般が簡単にだまされているという公表された証拠を提供するすべての人に答えを授与します。

これはそうではありません。単純なデータセットで非常に単純な分類子を作成できます。それをだますことはできません（「簡単」が何を意味するかは関係ありません）、それはまた面白くありません。

答えは「正規化」です。正規化では重みが一般的ではないことが要求されるため、単純なVC次元の式はここでは実際には適用されません。正則化後に許容できる損失があるのは、ごくわずかな（無限小の）重みの組み合わせのみです。結果として、真の次元は桁違いに小さいため、一般化はトレーニングセットで発生する可能性があります。現実の結果から、一般に過適合は起きていないことがわかります。

ディープラーニングを理解するには一般化の再考が必要です。に

汎化を再考するには、古い考え方を再検討する必要があります。統計力学アプローチと複雑な学習行動Charles H. MartinとMichael W. Mahoney

参照：https : //arxiv.org/pdf/1710.09553.pdf

基本的に、基本的なアプローチと採用される統計的制限が非現実的であるため、VCの境界が緩すぎると主張します。

より良いアプローチは、統計力学にあります。統計力学では、データに依存する関数のクラスを考慮し、熱力学の制限（大きな数の制限だけでなく）を取ります。

さらに、深いニーズの自然な不連続性が学習曲線の相転移にどのようにつながるかについても指摘しています。これは、Googleの論文（上記）で観察されていると思われます

制限については、本書のセクション4.2を参照してください

「明らかに、サンプルサイズmを修正し、[関数クラスのサイズ] N→∞にする[またはその逆、Nを修正する、m→∞にする]場合、非自明な結果は期待できません。 N]は大きくなっていますが、サンプルサイズは固定されています。したがって、[統計力学]では、通常、α= m / Nが固定定数であるm、N→∞の場合を考慮します。

つまり、ディープネットにデータ（m）を追加することはほとんどありません。データからより詳細な機能/情報をキャプチャできることがわかっているため、常にネットのサイズ（N）も大きくします。代わりに、実際に紙で主張していることを行います--m / Nの比率を固定して（mを固定してNを増加させるのではなく）大きなサイズの制限を取ります。

これらの結果は、Statistical Mechanics of Learningでよく知られています。分析はより複雑ですが、結果は、深層学習の多くの現象を説明するはるかに豊富な構造につながります。

また、特に、統計からの多くの境界が自明になるか、非滑らかな確率分布に適用されないか、変数が離散値をとる場合が知られています。ニューラルネットワークでは、不連続性（活性化関数内）により非自明な動作が発生し、相転移（熱力学的限界で発生）につながります。

私たちが書いた論文は、重要なアイデアをコンピューターサイエンスの聴衆に説明しようとしています。

Vapnik自身は、彼の理論がニューラルネットワークに実際には適用できないことを認識していました...

「[VC次元]の多層ネットワークへの拡張は、[多くの]困難に直面しています。既存の学習アルゴリズムは、ネットワークによって実装可能な機能のセット全体で経験的リスクを最小化するとは見なせません...おそらく...検索は[これらの]関数のサブセットに限定されます...このセットの容量は、セット全体の容量よりもはるかに低くなる可能性があります... [そして]観測数によって変化する可能性があります。これには、機能の「アクティブな」サブセットを持つ
非定容量の概念を考慮する理論が必要な場合があります」Vapnik、Levin、およびLeCun 1994

http://yann.lecun.com/exdb/publis/pdf/vapnik-levin-lecun-94.pdf

VC理論で扱うのは簡単ではありませんが、これはstat mechにとっては問題ではありません。（これは将来の論文のトピックになります）

上記の回答で、引用されているVC次元の式は1層ニューラルネットワークのみのものであると指摘した人はいないようです。私の推測では、VCの次元は、層の数Lが増加するにつれて実際に指数関数的に増加します。私の推論は、活性化関数が多項式のものに置き換えられているディープニューラルネットワークの検討に基づいています。次に、層が増加するにつれて、合成された多項式の次数が指数関数的に増加します。