ニューラルアーキテクチャ：データに基づいた自動設計

ニューラルネットワークの最近の進歩は、主に設計の複雑さが増すことを特徴とする一連の新しいアーキテクチャによって要約されています。LeNet5（1994）からAlexNet（2012）、Overfeat（2013）、GoogleLeNet / Inception（2014）など...

データに応じて、使用するアーキテクチャをマシンに決定/設計させる試みはありますか？

神経進化に関する文献もご覧ください。例：

• ザレンバ、ヴォイチェフ。イリヤ・サツケバー。Rafal Jozefowicz「リカレントネットワークアーキテクチャの経験的調査。」（2015）：進化的計算を使用して、最適なRNN構造を見つけました。
• フランク・ダーノンクール。「内側網状形成：行動選択の神経基盤？進化的計算による評価。」修士論文。ÉcoleNormaleSupérieureUlm。2011年。
• バイエル、ジャスティン、ダアンヴィアストラ、ジュリアントゲリウス、ユルゲンシュミットフーバー。「シーケンス学習のための進化するメモリセル構造。」人工ニューラルネットワークに関する国際会議、pp。755-764。Springer Berlin Heidelberg、2009 .:進化的計算を使用して最適なRNN構造を見つけました。

強化学習：

• Pham、Hieu、Melody Y. Guan、Barret Zoph、Quoc V. Le、Jeff Dean。「パラメータ共有による効率的なニューラルアーキテクチャ検索。」arXivプレプリントarXiv：1802.03268（2018）。https://arxiv.org/pdf/1802.03268.pdf
• Zoph、Barret and Le、Quoc V.強化学習によるニューラルアーキテクチャ検索。ICLR、2017年。https： //arxiv.org/abs/1611.01578
• ホセ・M・アルバレス、マシュー・ザルツマン。ディープネットワークのニューロン数の学習。NIPS2016。https ： //arxiv.org/abs/1611.06321

• Bowen Baker、Otkrist Gupta、Nikhil Naik、Ramesh Raskar。強化学習を使用したニューラルネットワークアーキテクチャの設計。https://arxiv.org/abs/1611.02167

• バレット・ゾフ、Quoc V. Le。強化学習によるニューラルアーキテクチャ検索。https://arxiv.org/abs/1611.01578

その他：

• マーシン・アンドリチョヴィッツ、ミシャ・デニル、セルジオ・ゴメス、マシュー・W・ホフマン、デビッド・プファウ、トム・ショール、ブレンダン・シリングフォード、ナンド・デ・フレイタス。勾配降下による勾配降下による学習の学習。https://arxiv.org/abs/1606.04474
• フランク・デルノンクール、ジ・ヤング・リー、ダイアログ・アクト分類のためのガウス・プロセスによるニューラル・ネットワーク・ハイパーパラメーターの最適化、IEEE SLT 2016。
• Cortes、Corinna、Xavi Gonzalvo、Vitaly Kuznetsov、Mehryar Mohri、およびScott Yang。「AdaNet：人工ニューラルネットワークの適応構造学習」。arXivプレプリントarXiv：1607.01097（2016）。https://arxiv.org/abs/1607.01097：ネットワークの構造とその重みの両方を学習するアプローチ。

研究はそのような方向に向かっているようです：

• ミコニ、トーマス。「微分可能な構造を持つニューラルネットワーク」、arXiv（2016）：著者は、微分可能なネットワーク構造の概念を導入して、それを目的関数に含めます。

GoogleのAutoMLはその一例です。ImageNetデータセットに正常に適用され、結果としてNASNetが作成されました。NASNet は、この記事の執筆時点で、精度の点で他のすべてのモデルを上回っています。主な論文はこちらです：

スケーラブルな画像認識のための転送可能なアーキテクチャの学習-Zoph、et。al。