ニューラルネットワークレイヤーの指数ギャップ

8

私はそれを読むここで必要機能ファミリーが存在すること高々とニューラルネットワーク上のノード必要間だけ機能を表すために、層ニューラルネットワークは、少なくともている場合層。ハスタッドの論文を参考にしている。見つかりませんでした。誰かが論文のタイトルを教えてもらえますか？これは本当に興味深い理論的な結果だと思います。 $\mathcal{O}(2^n)$ $d - 1$ $\mathcal{O}(n)$ $d$

cc.complexity-theory reference-request

— jakab922
ソース

あなたが引用する参考文献は、論理ゲート、フォーマルニューロン、RBFについて証明されたと述べており、HastadがRBF（動径基底fns、「後者のケース」）についてこの結果を証明したと述べているようです。

— vzn 2014

ここでいくつかの手作業が行われている可能性があります。NNの複雑さは、まだ多くの未解決の問題で満たされた回路の複雑さ（しかし、証明されたことはありません）と同じくらい難しいようです。他の場所では、se関連の一致によってこの質問が関連しています。ニューラルネットワークの計算能力 tcs.se（ps、ここでディープラーニングに関するいくつかの質問と、少なくとも暫定的にTCSにリンクしているフィールドを見るのに素晴らしい）

— vzn

9

人々が通常引用する論文は、STOC 1986に掲載されている、Almost Optimal Lower Bounds for Small Depth Circuitsです。質問に関する主な結果は次のとおりです。

$k$ $k-1$

$\mathsf{TC}^0$

— Suresh Venkat
ソース

これはニューラルネットの研究で引用されている可能性があり、基本的なアナロジーを参照してください。それを埋めるには、ニューラルネットのフレームワーク内でこのペーパーの結果を正式に利用する参照は、そのような参照が存在する場合でも貴重です。

— vzn 2014

それは通常、深さが重要である理由の直感として引用されます。それは合法的な使用だと思います。ただし、より大きな深度がより強力になる唯一の例ではありません。

— Suresh Venkat 2014

@SureshVenkat上記のハスタッドの結果のより現代的なレビュー/解説はありますか？（私は、PARITYの新しい執筆をAC ^ 0の証明ではなく、この特定の他の結果についてはこの論文で見ることができます）

— gradstudent

6

文字通り、深さdのニューラルネットを深さd-1から指数関数的に分離する問題は、すべてのdについて、私の知る限りでは開かれています。たとえば、「アクティブ化関数」が線形しきい値関数である場合、すべての深さdのすべてのネットを、深さ3でサイズが多項式で増加してシミュレーションできるかどうかがわかります。

— ライアン・ウィリアムス
ソース

{T C}^{0}

$\mathsf{TC}^0$

T C^{0}

$TC^0$

T C^{0}

$TC^0$

R^{n} \to R

$\mathbb{R}^n \rightarrow \mathbb{R}$

質問にリンクされているコンテンツを読んでください。そのフォームの機能に制限することについて言及されておらず、アクティベーション機能もReLUに制限されていません。

— ライアンウィリアムズ

R^{n} \to R

$\mathbb{R}^n \rightarrow \mathbb{R}$

5

$d$ $d+1$

$\mathsf{PP}^{\mathsf{PH}}$

パーセプトロンは、しばしばニューラルネットワークのモデルと呼ばれます。著者はJohanHåstadの学生だったので、これはあなたが探しているリファレンスかもしれません。

— ヤン・ヨハンセン
ソース