線形回帰のドロップアウト

私はドロップアウトに関する元の論文（https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf）を読んでおり、線形回帰のセクションでは、次のように述べられています。

$\mathbb{E}_{R\sim Bernoulli(p)}\left[\| y\ - (R*X)w\|^2\right]$

次のように減少します：

$\|y - pXw\|^2 + p(1-p) \|\Gamma w\|^2$

彼らがこの結果にたどり着いた方法を理解できません。誰か助けてもらえますか？

regression dropout

— ダグ
ソース

ここでとは何ですか？

Γ

$\Gamma$

— Laconic

：私はこのトピックに関する長編のエッセイを書いたmadrury.github.io/jekyll/update/statistics/2017/08/12/...

— マシュードゥルーリー

$\newcommand{E}{\text{E}}$ まず、便宜上、します。損失を拡大すると、期待WRTの撮影我々がいる行列の期待値はセル単位の期待値の行列なので、 so 最後の項では、したがってもしなら $R * X = M$

‖ y - M w ‖^{2} = y^{T} y - 2 w^{T} M^{T} y + w^{T} M^{T} M w .

$\|y - Mw\|^2 = y^Ty - 2w^TM^Ty + w^TM^TMw.$

R

$R$

E_{R} (‖ y - M w ‖^{2}) = y^{T} y - 2 w^{T} (E M)^{T} y + w^{T} E (M^{T} M) w .

$\E_R\left(\|y - Mw\|^2\right) = y^Ty - 2w^T(\E M)^Ty + w^T\E(M^TM)w.$

(E_{R} M)_{i j} = E_{R} ((R * X)_{i j}) = X_{i j} E_{R} (R_{i j}) = p X_{i j}

$(\E_R M)_{ij} = \E_R((R * X)_{ij}) = X_{ij}\E_R(R_{ij}) = p X_{ij}$

2 w^{T} (E M)^{T} y = 2 p w^{T} X^{T} y .

$2w^T(\E M)^Ty = 2pw^TX^Ty.$

(M^{T} M)_{i j} = \sum_{k = 1}^{N} M_{k i} M_{k j} = \sum_{k = 1}^{N} R_{k i} R_{k j} X_{k i} X_{k j}

$(M^TM)_{ij} = \sum_{k=1}^N M_{ki}M_{kj} = \sum_{k=1}^N R_{ki}R_{kj}X_{ki}X_{kj}$

(E_{R} M^{T} M)_{i j} = \sum_{k = 1}^{N} E_{R} (R_{k i} R_{k j}) X_{k i} X_{k j} .

$(\E_R M^TM)_{ij} = \sum_{k=1}^N \E_R(R_{ki}R_{kj})X_{ki}X_{kj}.$

i \neq j

$i \neq j$ 次に、それらは独立しているため、非対角要素はます。対角要素には、

p^{2} (X^{T} X)_{i j}

$p^2 (X^TX)_{ij}$

\sum_{k = 1}^{N} E_{R} (R_{k i}^{2}) X_{k i}^{2} = p (X^{T} X)_{i i} .

$\sum_{k=1}^N \E_R(R_{ki}^2)X_{ki}^2 = p(X^TX)_{ii}.$

これを終えると、あり、が見つかりましたで、私は結果がので、すべての非対角要素がゼロであることを示しこの論文では、定義しているため、は、完了しました。

‖ y - p X w ‖^{2} = y^{T} y - 2 p w^{T} X^{T} y + p^{2} w^{T} X^{T} X w

$\|y - pXw\|^2 = y^Ty - 2pw^TX^Ty + p^2w^TX^TXw$

E_{R} ‖ y - M w ‖^{2} = y^{T} y - 2 p w^{T} X^{T} y + w^{T} E_{R} (M^{T} M) w = ‖ y - p X w ‖^{2} - p^{2} w^{T} X^{T} X w + w^{T} E_{R} (M^{T} M) w = ‖ y - p X w ‖^{2} + w^{T} (E_{R} (M^{T} M) - p^{2} X^{T} X) w .

E_{R} (M^{T} M) - p^{2} X^{T} X

$\E_R(M^TM) - p^2 X^TX$

E_{R} (M^{T} M) - p^{2} X^{T} X = p (1 - p) diag (X^{T} X) .

$\E_R(M^TM) - p^2 X^TX = p(1-p)\text{diag}(X^TX).$

Γ = diag (X^{T} X)^{1 / 2}

$\Gamma = \text{diag}(X^TX)^{1/2}$

‖ Γ w ‖^{2} = w^{T} diag (X^{T} X) w

$\|\Gamma w\|^2 = w^T\text{diag}(X^TX)w$

— jld
ソース