Kerasを使用して多層パーセプトロンニューラルネットワークを構築するためのプロパティ？

私は、初めてどの郡でどの大統領が勝ったかを正確に予測する多層パーセプトロンニューラルネットワークを構築してトレーニングしようとしています。トレーニングデータに関する次の情報があります。

総人口年齢中央値％BachelorsDeg以上失業率1人あたりの所得総世帯平均世帯サイズ％所有者が占有する住宅％借家が占有する住宅％空いている住宅住宅価格の中央値人口増加率世帯数増加率1人当たり所得増加率勝者

これは14列のトレーニングデータで、15列目は出力です。

Kerasを使用して多層パーセプトロンニューラルネットワークを構築しようとしていますが、いくつかのプロパティと、これらのプロパティのさまざまなオプションを選択することの短所を理解するための助けが必要です。

1. アクティベーション機能

私の最初のステップはアクティベーション機能を考案することです。私は常に、シグモイド活性化関数を使用したニューラルネットワークを研究していました。シグモイド活性化関数は最高ですか？どれを使用するかをどうやって知っていますか？Kerasはさらに、softmax、softplus、relu、tanh、linear、またはhard_sigmoidアクティベーション関数を使用するオプションを提供します。何を使っても大丈夫ですが、理由と長所と短所を理解できるようにしたいだけです。

2. 確率の初期化

初期化は、Kerasレイヤーの初期ランダムウェイトを設定するために使用される確率分布を定義することを知っています。Kerasが提供するオプションは、ユニフォームlecun_uniform、normal、identity、直交、ゼロ、glorot_normal、glorot_uniform、he_normal、およびhe_uniformです。ここでの選択は、最終結果またはモデルにどのように影響しますか？ランダムモデルを開始し、さらに最適なレイヤーの重み付けを考え出すため、どのようなモデルでも "トレーニング"しているので、問題になりませんか？

1）アクティベーションはアーキテクチャの選択であり、つまり、ハイパーパラメータの選択になります。任意の関数を使用するための理論的な引数を作成できますが、これを決定する最良の方法は、いくつかを試して検証セットを評価することです。また、さまざまなレイヤーのアクティブ化を組み合わせて使用​​できることを覚えておくことも重要です。

2）理論上はそうです。データが非常に適切に動作し、ネットワークが理想的であれば、多くのランダムな初期化は同じです。しかし実際には、初期化は勾配が適切に開始され、信号が正しく逆伝播できることを保証することを目的としています。この場合、これらの初期化はどれも同じように実行されますが、最善の方法は、それらを試して、望ましくない結果が得られた場合に切り替えることです。