回答:
Googleの研究者によって、優れたInceptionアーキテクチャを選択する方法に関する最近の論文がある程度出されました。インセプションネットは、制約されたパラメーターバジェットで非常に高いパフォーマンスを達成します。そのため、これは開始するのに最適な場所であり、最近のものです。リンクは次のとおりです。コンピュータービジョンのインセプションアーキテクチャの再考。
厳格な定量的ルールを提供するのではなく、最近のImageNet大会で優れたパフォーマンスを達成するのに役立ったと信じているガイドラインを使用しています。
たとえば、彼らが議論する原則のいくつかは次のとおりです。
単一の大きな受容野畳み込み層を使用する代わりに、小さな受容野畳み込み層のスタックを使用します。つまり、3x3 conv層の2つのスタックと単一の7x7 conv層を使用します。このアイデアは新しいものではありません。また、オックスフォードVGGチームによる「詳細：畳み込みネットワークの詳細」の「悪魔の帰還」でも説明されています。これは、パラメーターを効率的にする必要があるためです。また、より多くのレイヤーでより多くの非線形性を導入するため、より多くの表現能力という二重の効果があります。
この記事で言及した文献で私が見たことのないものは、畳み込み層を深い層に分解することです。したがって、単一の7x7 convレイヤーを使用する代わりに、1x7 convレイヤーを作成し、次に7x1 convレイヤーを作成します。さらに深みを増すと、パラメーターも効率的になると思います。
ネットの深さと幅のバランスを取ります。高次元の表現を使用します。これは、複数の畳み込み層を連結するInceptionモジュールの背後にある原則の1つです。そのため、conv netに小さな空間サイズがある場合でも、Inceptionモジュールを使用して、マルチスケール畳み込み連結による高次元表現を使用できます。1x1、3x3、3x3-3x3、最大プールをすべて組み合わせます。これらのInceptionモジュールは、複数の操作を並行して実行すると解釈できるため、「幅」があります。それらは、1x3、3x1などの畳み込みサイズを因数分解した新しいInceptionモジュールでさらに進みます。
1x1 convレイヤー（Network in Networkスタイル）を使用して、次元を減らします。多くの次元削減技術を使用して、パラメータの効率を達成します。彼らは、隣接するフィーチャマップの相関出力が高いため、これが効果的であると考えています。自然画像は、これと一致するいくつかの局所統計特性を示すことが知られているため、これは理にかなっています。したがって、1x1 NINレイヤーを介して次元を削減しても、表現力に壊滅的な影響はありません。
記事には他にもあります。あなたが何を求めているかについての洞察を提供できる記事だと思います。彼らは、conv netアーキテクチャ設計の非常にコアな概念について話している。
問題の仕様に応じてこれらのハイパーパラメーターを選択することに関する文献はありません。しかし、ほとんどがベイズ最適化手法を採用して有効な値に焦点を合わせていることを理解しています。妥当な範囲を指定し、さまざまな組み合わせをテストすることにより、これらのハイパーパラメーターがモデルの精度にどのように関係するかをモデルで学習します。私にとってはうまくいきました。Snoek、Larochelle、およびAdamsの「Practical Bayesian Optimization of Machine Learning Algorithms」（http://papers.nips.cc/paper/4522-practical-bayesian-optimization-of-machine-learning-algorithms.pdf）を参照してください。