現在の最先端の畳み込みニューラルネットワークは何ですか？

MNIST、STLN-10、CIFARなどの標準的な画像分類タスクに関して、現在どのニューラルネットワークアーキテクチャが最先端（「SOTA」と略されることもあります）であるかを理解することに興味があります。新しい結果が頻繁に公開されるため、これは挑戦的であり、追いつくのは難しい場合があります。これらのタスクの最良の結果を追跡するリソースまたはWebサイトはありますか？

このウェブサイトでは、「分類データセットの結果」という種類の「リーダーボード」が維持されています。メンテナは、さまざまなニューラルネットワークアーキテクチャの公開された結果を追跡しようとします。

リーダーボードはCNN 自体に限定されるものではなく、どのようなネットワークでも許容されます。ただし、リーダーボードで追跡されるすべてのタスクはイメージタスクであるため（これを書いている時点では）、ネットワークの多くはイメージタスクで非常に効果的であるため、CNNになる可能性があります。

最良の提案はshimaoからです：

通常、任意のタスクで優れたまたは最先端のパフォーマンスを主張する新しい論文には、以前の結果と比較してかなり包括的な結果表があり、追跡するのに適した方法です。

リーダーボードは基本的に常に（学部生/卒業生）によって維持されているので、リーダーボードはすぐに役に立たなくなります。学生は学位を取得するとすぐに更新を停止します。とにかく、CIFAR-10とCIFAR-100で十分な場合は、これで十分です。

https://github.com/arunpatala/cifarSOTA

これはより一般的で（ImageNetを含む）、より最近の結果があります。

https://github.com/Lextal/SotA-CV

これは私が以前使用していたものですが、所有者は頻繁に発生するため、更新を停止しました。

https://github.com/RedditSota/state-of-the-art-result-for-machine-learning-problems/

最後に、LSVRCとCOCOのWebサイトから収集したデータに基づいて、Ali Rahimiが本日リリースしたこのJupyter ノートブックに興味があるかもしれません。

最後に、結果をSotAと比較するために最新の結果を探している場合は、すばらしいです。ただし、転移学習を使用してImageNetの「最良の」アーキテクチャを産業用アプリケーションに適用することが目標である場合は、最新のアーキテクチャが古いバージョンよりも翻訳の不変性の点で劣っていることを（まだ確認していない場合）知っておく必要があります。 。これは、より有用な画像分布でアーキテクチャを再トレーニングするのに十分な計算とデータがない場合のように、データセットに写真家のバイアスがない場合のリスクです。優れたプレプリントをご覧ください。

Azulay＆Weiss、2018、詳細「なぜ、深い畳み込みネットワークは、小さな画像変換に一般化しにくいのですか？」

DenseNetはResNetの後継であり、CIFAR-10で3.46％、C-100で17.18のエラーを達成しています。リーダーボードに記載されている3.47および24.28と比較してください。

シェイクシェイク、シェイクドロップ、およびその他のバリアントは、ResNetのようなアーキテクチャで使用できる正則化手法であり、C-10で2.86 / 2.31％エラー、C-100で15.85 / 12.19（シェイクシェイク/シェイク-落とす）。これらの手法はマルチブランチアーキテクチャでのみ機能します。そのため、厳密にはそれ自体がアーキテクチャではありませんが、私はそれらに言及します。

効率的なニューラルアーキテクチャ検索（強化学習を使用してアーキテクチャを検索）は、Cutout正則化手法を使用して、C-10で2.89％のエラーを達成するネットワークを検出します。性能はカットアウトなしで3.54％です。

要約：Dense Netおよびおそらく一部のENASで生成されたネットワークは、ResNetよりもわずかにパフォーマンスが良いかもしれませんが、高度な正則化手法を使用すると、比較が明らかに困難になります。

私は本当に最新のリーダーボードを知りませんが、通常、任意のタスクで優れた、または最先端のパフォーマンスを主張する新しい論文は、以前の結果と比較してかなり包括的な結果表を持っています。追跡するための良い方法。

さまざまなアプリケーションドメインで最先端のニューラルネットワークアーキテクチャ（およびその他の機械学習モデル）をチェックするために、paperswithcodeというページがあります。