タグ付けされた質問 「relu」

ReLU、シグモイド、タンなど、いくつかのアクティベーション関数があります。タンタン\tanh。アクティベーション機能を混在させるとどうなりますか？ 最近、Googleが（x * sigmoid）のSwishアクティベーション関数を開発したことを発見しました。アクティベーション関数を変更することにより、XOR問題などの小さなニューラルネットワーク問題の精度を向上させることができますか？

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

ReLUの代わりにLeaky ReLUを使用する利点は、このようにして勾配を消すことができないことです。パラメトリックReLUには同じ利点がありますが、唯一の違いは、負の入力に対する出力の傾きが学習可能なパラメーターであるのに対し、Leaky ReLUではハイパーパラメーターであることです。 ただし、Leaky ReLUまたはParametric ReLUの代わりにReLUを使用する方が便利な場合があるかどうかはわかりません。

10 neural-networks  activation-function  relu