たたみ込みニューラルネットワークで最大プーリングが必要なのはなぜですか?


18

最も一般的な畳み込みニューラルネットワークには、出力フィーチャの次元を削減するプーリングレイヤーが含まれています。畳み込み層のストライドを単純に増やすだけで同じことを達成できないのはなぜですか?プール層が必要な理由は何ですか?

回答:


16

あなたは確かにそれをすることができます、シンプルさのための努力:すべての畳み込みネットを見てください。プーリングにより、ある程度の翻訳不変性が得られますが、これは役立つ場合と役に立たない場合があります。また、プーリングは畳み込みよりも計算が高速です。それでも、いつでもプーリングを畳み込みでストライドに置き換えて、何がより効果的かを確認することができます。

現在の作品の中には、平均プーリングを使用するもの(Wide Residual NetworksDenseNets)、ストライドによる畳み込みを使用するもの(DelugeNets)があります。


友人の一人にこれについて尋ねると、彼は、プール層は非線形性を導入するのでより良いと言いました。同意しますか?
user3667089

7
うーん、私は同意しません。ある種の非線形性は、アクティベーション関数を介してネットワークにすでに存在しています。また、平均プーリングは追加の非線形性を導入しません。これは線形操作であるため、最大プーリングのみが非線形です。そして、プーリングがもたらす正則化が必要な場合、質問はもっと多いと思います-もう少し並進不変性。
ロビンティボール

4

画像の最も鮮明な特徴を抽出するため、明らかに最大プーリングが役立ちます。そのため、画像が与えられると、最も鮮明な特徴が画像の最も低いレベルの表現になります。https://www.quora.com/What-is-the-benefit-of-using-average-pooling-rather-than-max-pooling

しかし、Andrew Ngのディープラーニングの講義によると、最大プールはうまく機能しますが、その理由は誰にもわかりません。引用->「しかし、私は人々が最大プーリングを使用する主な理由は、それがうまくいくために多くの実験で発見されたためだと思います...根本的な理由。」

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.