畳み込みネットワークの普遍近似定理

普遍近似定理は、ニューラルネットワークの非常に有名な結果であり、基本的に、いくつかの仮定の下で、関数は任意の精度でニューラルネットワークによって均一に近似できると述べています。

畳み込みニューラルネットワークに適用される類似の結果はありますか？

これは興味深い質問ですが、畳み込みニューラルネットワークと見なされるものを適切に説明できていません。

ネットワークがたたみ込み操作を含む必要がある唯一の要件はありますか？畳み込み演算のみを含める必要がありますか？プーリング操作は許可されていますか？実際に使用されるたたみ込みネットワークは、多くの場合、完全に接続されたレイヤーを含む操作の組み合わせを使用します（完全に接続されたレイヤーが作成されるとすぐに、理論的なユニバーサル近似能力が得られます）。

$D$$K$$W \in \mathbb R ^{K\times D}$

1. $K\times D$$D$$d$$k,d$$W_{k,d}$$KD$

2. $K$$KD$$kD\ldots(k+1)D$$k$

このようなたたみ込みネットワークは、完全に接続されたネットワークをシミュレートするため、同じ普遍的な近似機能を備えています。そのような例が実際にどれほど役立つかを考えるのはあなた次第ですが、私はそれがあなたの質問に答えることを望みます。

この質問は、Dmitry Yarotskyによるこの最近の記事で肯定的に回答されているようです：ニューラルネットワークによる不変マップの普遍的な近似。

この記事は、古典的な普遍的近似定理と直接類似しており、十分に広い場合、任意の並進同変関数が畳み込みニューラルネットワークによって任意に適切に近似できることを示しています。

Ding-Xuan Zhouによる論文「Deep Convolutional Neural NetworksのUniversality」を参照してください。これは、畳み込みニューラルネットワークが普遍的であること、つまり、ニューラルネットワークの深さが十分に大きい場合、任意の連続関数を任意の精度で近似できることを示しています。