タグ付けされた質問 「sigmoid-curve」

Andrew NgのCourseraのニューラルネットワークとディープラーニングコースでは、tanhtanhtanhを使用することはを使用するよりもほぼ常に好ましいと述べていsigmoidsigmoidsigmoidます。 彼が与える理由は、を使用する出力tanhtanhtanhはsigmoidsigmoidsigmoidの0.5 ではなく0を中心とし、これにより「次の層の学習が少し簡単になる」からです。 アクティベーションの出力速度を中心に学習するのはなぜですか？バックプロップ中に学習が行われると、彼は前のレイヤーを参照していると思いますか？ tanhtanhtanh推奨する他の機能はありますか？より急な勾配は、消失する勾配を遅らせますか？ sigmoidsigmoidsigmoidが望ましい状況はありますか？ 数学的に軽く、直感的な回答が望ましい。

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

Tensorflowを使用して、1つの隠れ層のみを持つ単純なニューラルネットワークで遊んでいた後、隠れ層に対して異なるアクティベーションを試みました。 レルー シグモイド ソフトマックス（まあ、通常ソフトマックスは最後のレイヤーで使用されます。.） Reluは、最高の列車精度と検証精度を提供します。これを説明する方法がわかりません。 Reluには、勾配のない消失などのスパース性などの優れた特性があることがわかっていますが、 Q：Reluニューロンはシグモイド/ソフトマックスニューロンよりも一般的に優れていますか？ほとんど常にNN（またはCNNでも）Reluニューロンを使用する必要がありますか？ 複雑すぎるニューロンはより良い結果をもたらすだろうと考えました。少なくともオーバーフィットを心配する場合は、精度を訓練します。 PS：コードは基本的に「Udacity-Machine learning -assignment2」からのものです。これは、単純な1-hidden-layer-NNを使用したnotMNISTの認識です。 batch_size = 128 graph = tf.Graph() with graph.as_default(): # Input data. tf_train_dataset = tf.placeholder(tf.float32, shape=(batch_size, image_size * image_size)) tf_train_labels = tf.placeholder(tf.float32, shape=(batch_size, num_labels)) tf_valid_dataset = tf.constant(valid_dataset) tf_test_dataset = tf.constant(test_dataset) # hidden layer hidden_nodes = 1024 hidden_weights = tf.Variable( tf.truncated_normal([image_size …

22 machine-learning  neural-networks  conv-neural-network  tensorflow  sigmoid-curve 

ロジスティック関数の出力範囲は0〜1で、漸近勾配は両側でゼロです。 最後に完全に平坦化しないロジスティック関数の代替は何ですか？漸近勾配がゼロに近づいているがゼロに近づいておらず、範囲が無限であるのは誰ですか？

8 sigmoid-curve