ニューラルネットワークの普遍近似定理は、任意の活性化関数を保持しますか？

8

ニューラルネットワークの普遍近似定理は、任意のアクティブ化関数（シグモイド、ReLU、Softmaxなど）に適用されますか、それともシグモイド関数に限定されますか？

アップデート：コメント欄でアウトとして島尾ポイントは、それは絶対にするために保持していない任意の機能。それでは、どのクラスのアクティベーション関数が保持されますか？

neural-networks approximation

— スカンダH.
ソース

1

私はそれがあなたがリストしたものすべてに当てはまると信じていますが、任意の活性化関数には当てはまりません（f（x）= 0を考慮してください）

— shimao

Cybenko（1989）の論文を読んでください。関数はコンパクトでなければなりません。つまり、R ^ nのコンパクトサブセットで定義する必要があります

— Snehanshu Saha

不連続性が有限である場合は、隠れ層をさらに追加することによっても処理できます。SBAFでも機能します。

— Snehanshu Saha

R^{n}

$\mathbb{R}^n$

7

Wikipediaの記事は、正式な声明を持っています。

$\varphi$

— マシュー・ドゥルーリー
ソース

8

シグモイドとソフトマックスは対象ですが、ReLUは対象外です。この論文によると、このプロパティはReLUのようないくつかの制限のない関数やその他にも当てはまります。

— jodag 2018年

3

多層フィードフォワードネットワークは、この問題に対処する公開されたリファレンスです。多項式活性化関数には、universla近似プロパティがありません。

無制限のアクティベーション機能を備えたプレプリントNNは、多くのアクティベーション機能をカバーしています。単一の非表示レイヤーNNのみを調べます。フーリエ解析は重いです。

私はその正確さを保証することができないので、2番目のリファレンスはプレプリントであることを強調します。Leshno et alt 1993はレビューされた出版物です。

— ビクターズルコウスキー
ソース

2

— 数学者
ソース