タグ付けされた質問 「autoencoders」

オートエンコーダーは、入力を後で再構築するために入力の圧縮表現を学習するニューラルネットワークであり、次元削減に使用できます。それらは、エンコーダーとデコーダー（別々のニューラルネットワークにすることができます）で構成されています。次元の削減は、データが疎になり、「統計的有意性」を取得することがより困難になる次元の呪いに関連する問題を処理または軽減するために役立ちます。したがって、自動エンコーダー（およびPCAのようなアルゴリズム）を使用して、次元の呪いに対処できます。 特にオートエンコーダーを使用して次元削減を気にするのはなぜですか？次元削減が目的であるのに、なぜPCAを使用できないのでしょうか。 次元削減を実行したいだけの場合、なぜ入力の潜在的な表現を解凍する必要があるのか​​、またはオートエンコーダーにデコーダー部分が必要なのはなぜですか？ユースケースは何ですか？一般に、なぜ後で解凍するために入力を圧縮する必要があるのですか？（最初に）元の入力だけを使用した方がいいのではないでしょうか。

10 machine-learning  autoencoders  dimensionality-reduction  curse-of-dimensionality 

オプティマイザー（を使用）と、シングルチャネルオーディオソース分離タスクでauto-encoderネットワークをトレーニングしています。学習率を1要素ずつ減衰させると、ネットワーク損失は急激に跳ね上がり、次の学習率の減衰まで減少します。Adamamsgrad=TrueMSE loss ネットワークの実装とトレーニングにPytorchを使用しています。 Following are my experimental setups: Setup-1: NO learning rate decay, and Using the same Adam optimizer for all epochs Setup-2: NO learning rate decay, and Creating a new Adam optimizer with same initial values every epoch Setup-3: 0.25 decay in learning rate every 25 epochs, and Creating …

10 machine-learning  deep-learning  optimization  autoencoders  loss-functions