ドロップアウトと他の正規化を検討する研究はありますか？

ニューラルネットワークの正則化手法の違いを、好ましくは異なるドメイン（または少なくとも異なるデータセット）で示す論文はありますか？

私は現在、ほとんどの人がコンピュータービジョンの正則化のためにドロップアウトのみを使用しているように思われるので、私は尋ねています。正則化のさまざまな方法を使用する理由（ない）があるかどうかを確認したいと思います。

2つのポイント：

1. ドロップアウトは通常、ニューラルネットワークのアンサンブルとも比較されます。いくつかのニューラルネットワークをトレーニングして平均化することには、パフォーマンス上の利点があるようです。
2. ドロップアウトは、正規化よりも調整が簡単です。ドロップアウト率であるハイパーパラメーターは1つだけで、トレーニング中に0.5を広く使用します（もちろん、評価では1.0を使用します）。たとえば、このTensorFlowの例を参照してください。

とにかく、私はニューラルネットワークの実証研究に少し懐疑的です。ネットワークのトポロジーから勾配降下最適化手順、アクティブ化関数、そして正則化のようにテストしているものまで、微調整するにはハイパーパラメーターが多すぎます。次に、全体が確率論的であり、通常、パフォーマンスの向上は非常に小さいため、違いを統計的にテストすることはほとんどできません。多くの著者は、統計的検定を行うことさえしません。彼らは単に相互検証を平均化し、最も高い小数点ゲインを持つモデルが勝者であることを宣言します。

ドロップアウトを促進する研究は、別の促進する正則化と矛盾する場合があります。

私はそれはすべて美学の好みに要約されていると思います。ドロップアウトIMHOは、正規化よりも生物学的にもっともらしい音です。キャリブレーションも簡単に思えます。したがって、私はTensorFlowのようなフレームワークを使用するときに個人的に好みます。よく使用する独自のニューラルネットワークを使用する必要がある場合は、実装が簡単だったため、正規化を使用します。

絶対に。作成者自身、ジェフリーヒントンからの論文。https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf読んでください。しかし、私はそれを自分で実装して違いを見ることをお勧めします。