いくつかの接続を削除することで、より良いANNを取得できますか？

たとえば、以下のように接続を削除すると、状況によってANNのパフォーマンスが向上するかどうか疑問に思っていました。

2つの多層ANNのAとBを並列に（同じ入力ノードと出力ノードで）取り、1つのANNを構築して、AとBの隠れた層の間にいくつかの「通信」接続を追加しますか？

より良い一般化の結果を得ることができますか？

これはどういうわけか実際に使用されているのですか、それとも常に多層の完全に接続されたネットワークを使用しているだけですか？

はい、可能です。一部の人々はこの問題を詳細に検討しました。これを行う方法についての古い論文は次のとおりです：最適な脳損傷

経験則として、小規模および/または疎なネットワークは一般化する方が優れています。トレーニングアルゴリズムは、何らかの形式の重み減衰を適用することで、固定サイズのネットワーク内の不要な接続を排除することができます。または、不要な入力、非表示のノードまたは接続を削除することでネットワークアーキテクチャ/トポロジ自体を最適化することを目的としたアルゴリズムを適用できます。

これらのリファレンスを参考にして、さらなる研究のアイデアと出発点を探すか、または進化的アルゴリズムを使用してアーキテクチャを設計、プルーニング、最適化する方法を調べてください。

1. カステラーノ、G。、ファネリ、AM（2000）「ニューラルネットワークモデルを使用した変数の選択」、Neurcomputing（31）
2. Ji C.、Psaltis D.（1997）「データ駆動型の成長と減衰によるネットワーク統合」、ニューラルネットワークVol。10、6、1133-1141ページ
3. Narasimha PL et al（2008）「フィードフォワードネットワークトレーニングのための統合された成長剪定法」、ニューロコンピューティング（71）、pp。2831-2847
4. Schuster、A.（2008）「Robust Artificial Neural Network Architectures」、International Journal of Computational Intelligence（4：2）、pp。98-104

ほとんどの場合、不要な接続を削除すると、ネットワークが改善されます。ネットワークをオーバートレーニング（オーバーフィット）するのは簡単です。この場合、検証データセットのパフォーマンスは低下します。

不要な接続をプルーニングすると、おそらくオーバートレーニングの確率が低下します。参照してください：http : //en.wikipedia.org/wiki/Overfitting。

はい可能です。計算の単位、隠れ層の数、隠れ層ごとの単位などの間の関係をハイパーパラメーターと見なすことができます。一連の実験を行うことにより、これらのパラメータの最適値を見つけることができます。

例えば：

データセットは次のように分割できます。トレーニングセット60％のデータ、クロス検証20％のデータ、テスト20％のデータ、

次に、トレーニングデータセットを使用してNNをトレーニングし、交差検証データセットを使用してパラメーターを調整します。

最後に、テストデータセットを使用して、NNのパフォーマンスを評価できます。