ニューラルネットワークの安定性を向上させるにはどうすればよいですか？

Rでニューラルネットを使用して、14入力と1出力のNNを構築しています。同じ入力トレーニングデータと同じネットワークアーキテクチャ/設定を使用して、ネットワークを数回構築/トレーニングします。

各ネットワークが生成されたら、それをスタンドアロンのテストデータセットで使用して、いくつかの予測値を計算します。ネットワークを構築するたびにすべての入力（トレーニングデータとテストデータの両方）が同じままであるにもかかわらず、予測データの反復ごとに大きな差異があることがわかりました。

NN内で毎回生成される重み付けに違いがあり、2つのニューラルネットワークが同一になることはないことを理解していますが、同一のデータが与えられた場合、各トレイン全体でより一貫性のあるネットワークを作成するにはどうすればよいですか？

一般に、非表示ノードの数を増やし、適切な重みの減衰（別名、尾根ペナルティ）を使用することにより、安定性が向上します。

具体的には、caretパッケージを使用して精度（さらには精度の不確実性）をよりよく理解することをお勧めします。キャレットではavNNet、初期シードの影響を減らすために、アンサンブル学習者を複数のニューラルネットワークから除外します。私は個人的に使用して大きな改善を見ていませんavNNetが、それはあなたの元の質問に対処することができます。

また、入力がすべて適切に調整されていることを確認します。直交化してから再スケーリングしましたか？Caretは、pcaNNet関数を介してこの前処理を行うこともできます。

最後に、一部のスキップレイヤー接続を破棄することを検討できます。ただし、これらの接続を歪めるために、データに外れ値/てこ比のポイントがないことを確認する必要があります。

私はRで作業したことがないので、より一般的なヒントしか提供できません。

アルゴリズムが収束したかどうかを確認しましたか？考えられる理由の1つは、さまざまなパラメーターセットがすべて同じ最適値の半分にあることです。

アルゴリズムが常に収束するが、異なる局所最適値に収束する場合、それらを回避しようとする多くのヒューリスティックがあります。確率的勾配降下法（SGD）を使用する場合の1つの単純な戦略は、小さいバッチと大きい運動量を使用することです。バッチサイズを小さくすると、トレーニングにノイズが効果的に導入され、局所的な最適値を逃れるのに役立ちます。より高度な戦略は、自動エンコーダを使用して重みを初期化することです。