2つの非表示レイヤーのみを使用して数値を並べ替える


10

私は、Ilya SutskeverとQuoc Leによる基幹論文Sequence to Sequence Learning with Neural Networksを読んでいます。最初のページで、それは簡単に述べています:

A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size 

2つの非表示レイヤーのみを使用して数値を並べ替える方法を簡単に説明できますか?

回答:


3

いくつかの調査を行ったところ、並べ替えは最大で3つのレイヤーで実行できること、およびネットワークのサイズを多項式に制限して入力数に制限する場合にそれらのソリューションが最適であることを証明する論文を見つけました。

除算および関連する問題に対する深さ効率の良いニューラルネットワークについては、955ページの定理7(PDFの10ページ)を参照してください。


1
関連する論文を見つけてくれてありがとう!実際、このペーパーでは「深さ」3でソートを行っていますが、これは2つの非表示レイヤーのみを意味しているようです。彼らが下限について信頼している彼らの参照14、「限界深さの閾値回路」igi-web.tugraz.at/people/maass/psfiles/34o.pdf(ResearchGateでも)espページ131-132(3 pdfの-4)。
ベンReiniger

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.