ニューラルネットワークベースの分類では次元削減が必要ですか?


9

ニューラルネットワークベースの分類子を使用して、データの分類をn次元で実行しています。

次に、最初にデータに対してPCAのような次元削減を実行し、PCAの結果を分類子に入れる(3つのPCを保持する)のは良い考えだと思いました。ただし、次元が削減されたフィーチャの分類は、元の高次元のフィーチャを直接使用するほどよくありません。

次に、この投稿NNをDR1として見つけ、 ニューラルネットワークを次元削減方法として説明しました。また、 混乱しているDR2として、このペーパーNNにいくつかの情報があります 。

  1. ニューラルネットワークベースの分類(Matlab)を使用する場合、自動的に次元削減が行われますか?
  2. ニューラルネットワーク分類を実行する前に、PCAのような次元削減を実行する必要がありますか?
  3. PCAの結果の分類が、元の高次元の特徴を使用するほど良くない理由は他にありますか?

回答:


18

原則として、PCAによって実行される線形変換は、ニューラルネットワークの入力層の重みによっても同様に実行できるため、厳密には必要ありません。ただし、ネットワーク内の重みの数が増えると、ネットワークの重みを確実に決定するために必要なデータの量も増加し(多くの場合、かなり急速に)、過剰適合が問題になります(正則化も使用されます)良いアイデアです)。次元削減の利点は、ネットワークのサイズが削減されることです。したがって、ネットワークのトレーニングに必要なデータの量が削減されます。PCAを使用することの欠点は、あるクラスを別のクラスと区別する識別情報が低分散成分に含まれる可能性があるため、PCAを使用するとパフォーマンスが低下する可能性があることです。

統計的パターン認識のほとんどのことと同様に、すべての問題に対して確実に機能する単一のレシピはありません。本当に最善の方法は、両方のアプローチを試して、どちらが最適に機能するかを確認することです。


1

ニューラルネットワークベースの分類(Matlab)を使用する場合、自動的に次元削減が行われますか?回答:分類に複数の層を使用していて、非表示層のニューロンの数が入力ニューロンより少ない場合は、一種の次元削減ニューラルネットワークを使用します。画像n> mの場合、次元削減ネットワークがある しかし、PCAではない可能性があります。


0

ニューラルネットワークは、学習を通じて任意の非線形マッピングを近似でき、非線形モデルの制約を受けないため、事前にPCAのような次元を削減する必要はありませんでした。これは、人工ニューラルネットワーク(ANN)に強力な非線形計算能力があることも示しています。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.