タグ付けされた質問 「loss-functions」

私は、Generative Adversarial Networksの理解（Daniel Seitaによるブログ投稿）で提供されているGAN損失関数の理解に苦労しています。 標準的なクロスエントロピー損失では、シグモイド関数を介して実行された出力と、結果のバイナリ分類があります。 シータ州 バツ1バツ1x_1 H（（x1、y1）、D ）= − y1ログD （x1）− （1 − y1）ログ（1 − D （x1））H（（バツ1、y1）、D）=−y1ログ⁡D（バツ1）−（1−y1）ログ⁡（1−D（バツ1）） H((x_1, y_1), D) = -y_1 \log D(x_1) - (1 - y_1) \log (1 - D(x_1)) これは単なる期待のログであり、理にかなっていますが、GAN損失関数で、同じ反復で真の分布からのデータと生成モデルからのデータをどのように処理できますか？

17 neural-networks  machine-learning  deep-learning  loss-functions  generative-adversarial-networks 

オプティマイザー（を使用）と、シングルチャネルオーディオソース分離タスクでauto-encoderネットワークをトレーニングしています。学習率を1要素ずつ減衰させると、ネットワーク損失は急激に跳ね上がり、次の学習率の減衰まで減少します。Adamamsgrad=TrueMSE loss ネットワークの実装とトレーニングにPytorchを使用しています。 Following are my experimental setups: Setup-1: NO learning rate decay, and Using the same Adam optimizer for all epochs Setup-2: NO learning rate decay, and Creating a new Adam optimizer with same initial values every epoch Setup-3: 0.25 decay in learning rate every 25 epochs, and Creating …

10 machine-learning  deep-learning  optimization  autoencoders  loss-functions