DropOutはどの程度正確に畳み込みレイヤーで機能しますか？

ドロップアウト（論文、説明）は、一部のニューロンの出力をゼロに設定します。したがって、MLPの場合、アイリスの花データセットに対して次のアーキテクチャを使用できます。

4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax)

これは次のように機能します。

$$softmax(W_3 \cdot \tanh(W_2 \cdot \text{mask}(D, \tanh(W_1 \cdot input\_vector)))$$

、、、、（簡略化のためにバイアスを無視）。 W 1 ∈ R 50 × 4 D ∈ { 0 、1 } 50 × 1 W 2 ∈ R 20 × 50 W 3 ∈ R 20 × $input\_vector \in \mathbb{R}^{4 \times 1}$$W_1 \in \mathbb{R}^{50 \times 4}$$D \in \{0, 1\}^{50 \times 1}$$W_2 \in \mathbb{R}^{20 \times 50}$$W_3 \in \mathbb{R}^{20 \times 3}$

と$D = (d)_{ij}$

$$d_{ij} \sim B(1, p=0.5)$$

ここで操作乗算のポイント単位と（参照アダマール積を）。D $\text{mask}(D, M)$$D$$M$

したがって、マトリックス毎回サンプリングするだけなので、ドロップアウトはノードと0の乗算になります。$D$

しかし、CNNの場合、何がドロップアウトされているのかは明確ではありません。私は3つの可能性を見ることができます：

1. 完全な機能マップの削除（したがってカーネル）
2. カーネルの1つの要素を削除する（カーネルの要素を0で置き換える）
3. 機能マップの1つの要素を削除する

回答に参照/引用を追加してください。

私の考え

私はラザニアがそうだと思います（3）（コードを参照）。これは実装するのが最も簡単かもしれません。ただし、元のアイデアにより近い（1）かもしれません。

Caffeでも同様のようです（コードを参照）。tensorflowの場合、ユーザーが決定する必要があります（コード - noise_shape=Noneが渡されたときに何が起こるかわかりません）。

それがどうあるべきか

（2）と（3）は、ネットワークが空間位置に不変性を追加するため、あまり意味がありません。これはおそらく望ましくありません。したがって、（1）は意味のある唯一のバリアントです。しかし、デフォルトの実装を使用するとどうなるかわかりません。

既に述べたように、マスクマトリックスがサンプリングされ、レイヤー機能マップのアクティベーションと乗算されて、ドロップアウトされた変更されたアクティベーションを生成し、次のレイヤーフィルターと畳み込みます。（3）W （l + 1 $l$$W^{(l+1)}$

詳細については、このペーパーのセクション3が役立つと思います：最大プーリングとたたみ込みドロップアウト。具体的には3.2。

テストするときは、ネットワークのすべてのノードを使用しますが、論文で説明されているように、フィルターの重みを保持確率でスケーリングします。

私の回答を自由に修正または訂正してください。

これが少なくとも少し役立つことを願っています。