私のニューラルネットワークはユークリッド距離も学習できません

だから私は自分自身にニューラルネットワークを教えようとしています（猫の写真を分類するのではなく、回帰アプリケーションのために）。

私の最初の実験は、FIRフィルターと離散フーリエ変換を実装するためのネットワークのトレーニング（「前」と「後」の信号でトレーニング）でした。これらはどちらも活性化機能のない単一のレイヤーで実装できる線形演算だからです。 どちらもうまくいきました。

それで、私はを追加してabs()、振幅スペクトルを学習させることができるかどうかを見たかったのです。最初に、非表示層に必要なノードの数を考え、3のReLUがの大まかな近似に十分であることを認識したabs(x+jy) = sqrt(x² + y²)ので、その操作を単独の複素数（2入力→3 ReLUノードの非表示層→1）で単独でテストしました出力）。時々それは動作します：

しかし、私がそれを試すほとんどの場合、それは極小値で行き詰まり、正しい形を見つけることができません：

KerasですべてのオプティマイザーとReLUバリアントを試してみましたが、それほど違いはありません。このような単純なネットワークを確実に収束させるために他に何かできることはありますか？それとも私は間違った態度でこれに近づいていますか、そしてあなたは問題で必要以上に多くのノードを投げるはずであり、それらの半分が死んだとしても大したこととは考えられませんか？

出力は、1つ以上のニューロンが死んでいる（またはおそらく2つのニューロンの重みの超平面が結合している）ことを強く示唆しているようです。3つのReluを使用すると、より合理的なソリューションに収束すると、中央に3つの影のある分割が表示されます。各ニューロンの出力値をチェックして、サンプルの大部分で死んでいるかどうかを確認することで、これが正しいかどうかを簡単に確認できます。または、2x3 = 6のニューロンの重みをそれぞれのニューロンでグループ化してプロットし、2つのニューロンが同じペアの重みに縮小するかどうかを確認することもできます。

$x+iy$$x\gg y$$abs(x+iy)\approx x$。これを改善するためにここでできることは本当にあまりありません。1つのオプションは、試行したニューロンを追加することです。2番目のオプションは、シグモイドのような継続的なアクティブ化、またはおそらく指数関数のような制限のないものを試すことです。ドロップアウトを試すこともできます（たとえば、10％の確率で）。ケラスで通常のドロップアウト実装を使用することもできます。これは、3つのニューロンすべてがドロップアウトする状況を無視するのに十分賢いことを期待しています。