相関する入力データは、ニューラルネットワークで過剰適合しますか？

私の意見では、ネットワークはデータのノイズなどの相関を学習するため、相関入力データはニューラルネットワークの過剰適合につながる必要があります。

これは正しいです？

実は違う。

このような質問は少し一般的であり、実際には関係のない2つのことを組み合わせています。過剰適合は通常、一般化された記述であることに反する品質として意味されます。オーバーフィット（またはオーバートレーニング）されたネットワークの一般化能力が小さくなるという意味で。この品質は、主にネットワークアーキテクチャ、トレーニング、および検証手順によって決まります。データとそのプロパティは、「トレーニング手順が実行されるもの」としてのみ入力されます。これは多かれ少なかれ「教科書の知識」です。James、Witten、Hastie、Tibshiraniによる「統計学習入門」を試すことができます。または、ビショップによる「パターン認識」（一般的なトピックに関する私のお気に入りの本）。または、「パターン認識と機械学習」、司教も。

相関自体について：特定の次元を持つ入力スペースを考慮します。どの変換を使用しても、次元は同じままです-線形代数はそう言います。あるケースでは、与えられた基底は完全に無相関になります-これは、変数の相関を解除するか、単にPAT（Principle Axis Transformation）を適用すると得られるものです。

適切なアーキテクチャを備えたニューラルネットワークは、任意の（！）関数をモデル化できるため、最初にPATをモデル化してから、分類、回帰などの必要な処理を行うこともできます。

相関関係はデータのプロパティであるため、ニューラルネットワークの説明の一部である必要がある特徴と考えることもできます。相関の性質は、データの一部であってはならないものでない限り、本当に重要ではありません。これは実際には別のトピックになります。入力のノイズなどをモデル化または定量化し、それを説明する必要があります。

したがって、要約では 相関データは、データの処理を技術的に単純かつ効果的にするために、より一生懸命働く必要があることを意味します。過剰適合は発生する可能性がありますが、相関データがあるため発生しません。

ケルビムは、過剰適合に関する彼の声明に関して正しいです。ただし、高度に相関する機能とANNの議論は問題を過度に単純化していると思います。

はい、理論上、ANNが任意の関数を近似できることは事実です。ただし、実際には、多数の高度に相関する機能を含めることは得策ではありません。そうすると、モデル内に多くの冗長性が導入されます。このような冗長性を含めると、不必要な複雑さが導入され、そうすることで、極小値の数が増える可能性があります。ANNの損失関数は本質的に滑らかではないので、不必要な粗さを導入することは素晴らしい考えではありません。