タグ付けされた質問 「activation-function」

必要な出力と知っているアクティベーション関数のプロパティに応じて、出力レイヤーのアクティベーション関数を選択します。たとえば、確率を処理する場合はシグモイド関数を選択し、正の値を処理する場合はReLUを選択し、一般的な値を処理する場合は線形関数を選択します。 非表示のレイヤーでは、ReLUではなくリークしたReLUを使用し、シグモイドではなくtanhを回避します。もちろん、私は隠れた単位で線形関数を使用しません。 ただし、非表示層でのそれらの選択は、主に試行錯誤によるものです。 状況によっては、どのアクティベーション機能が適切に機能するかについての経験則はありますか？可能な限り一般的な状況を考えてみましょう。これは、レイヤーの深さ、NNの深さ、そのレイヤーのニューロンの数、選択したオプティマイザー、入力フィーチャの数を指す場合があります。そのレイヤー、このNNのアプリケーションなど で、彼/彼女の答えは、cantordustはELUとSELUのように、私は言及しなかったことを、他の活性化関数を指します。この情報は大歓迎です。ただし、アクティブ化関数が多いほど、非表示のレイヤーで使用する関数の選択に混乱が生じます。そして、コインを投げることがアクティベーション機能を選ぶ良い方法だとは思いません。

13 neural-networks  machine-learning  math  activation-function 

ReLU、シグモイド、タンなど、いくつかのアクティベーション関数があります。タンタン\tanh。アクティベーション機能を混在させるとどうなりますか？ 最近、Googleが（x * sigmoid）のSwishアクティベーション関数を開発したことを発見しました。アクティベーション関数を変更することにより、XOR問題などの小さなニューラルネットワーク問題の精度を向上させることができますか？

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

ニューロンカバレッジの概念を偶然見つけました。これは、ニューラルネットワークにおける活性化ニューロンと総ニューロンの比率です。しかし、ニューロンが「活性化」されるとはどういう意味ですか？アクティベーション関数とは何か知っていますが、たとえばReLUやシグモイド関数の場合、アクティベートされているとはどういう意味ですか？

10 neural-networks  ai-basics  concepts  activation-function 

ReLUの代わりにLeaky ReLUを使用する利点は、このようにして勾配を消すことができないことです。パラメトリックReLUには同じ利点がありますが、唯一の違いは、負の入力に対する出力の傾きが学習可能なパラメーターであるのに対し、Leaky ReLUではハイパーパラメーターであることです。 ただし、Leaky ReLUまたはParametric ReLUの代わりにReLUを使用する方が便利な場合があるかどうかはわかりません。

10 neural-networks  activation-function  relu