トリプレットネットワークのL2正規化の目的

7

顔認識のためのトリプレットベースの遠隔学習は非常に効果的です。紙の特定の側面に興味があります。顔の埋め込みを見つける一環として、L2正規化を使用して隠しユニットを正規化します。これにより、表現が超球上にあるように制約されます。なぜそれが役立つか必要なのですか？

— ピル
ソース

7

正規化されたベクトル間の2乗ユークリッド距離は、コサインの類似性（ref：wikipedia）、比例しますしたがって、正規化を使用する利点は、多かれ少なかれコサイン類似性の利点ですユークリッド距離。Andy Jonesの回答で述べたように、正規化せずにマージンを係数でスケーリングすると、それに応じて埋め込みもスケーリングされます。

‖ \frac{A}{‖ A ‖} - \frac{B}{‖ B ‖} ‖^{2} = ‖ \frac{A}{‖ A ‖} ‖^{2} + ‖ \frac{B}{‖ B ‖} ‖^{2} - 2 \frac{A \cdot B}{‖ A ‖ ‖ B ‖} = 2 - 2 \frac{A \cdot B}{‖ A ‖ ‖ B ‖}

$\|\frac{A}{\|A\|}-\frac{B}{\|B\|}\|^2 = \|\frac{A}{\|A\|}\|^2+\|\frac{B}{\|B\|}\|^2-2\frac{A\cdot B}{\|A\|\|B\|}=2-2\frac{A\cdot B}{\|A\|\|B\|}$

もう1つの優れた特性は、このような正規化により、ユークリッド距離の2乗の値が範囲内にあることが保証され、適切なマージンパラメーター選択する手間が省けることです。 $[0,4]$ $\alpha$

たとえば、この論文で参照されている別の論文では、（正規化されていない）2乗ユークリッド距離に基づくばねモデルと呼ばれるものを使用しています。トレーニングが進行します。

正規化レイヤーを自分で実装したい場合は、Caffeでの派生と実装に関するブログをご覧ください（ブログの一部は中国語ですが、読書には影響しません）。

— ドントル
ソース

ユークリッド距離の2乗が[0、4]の範囲内にあるのは、この場合、[-1、1]にのみ存在できる余弦距離に等しい場合はなぜですか？

— ピル

@pir式の右側を見ると、実際には2-2 * cos_simです。これは、cos_simが[-1、1]にあるため、[0、4]の間にあります

— dontloo

1

それは、埋め込みに適した場所とスケールを提供するためだと思います。優先位置は、損失が平行移動不変ではないことを意味します。これは、浮動小数点を使用している場合に役立ちますが、優先スケールはマージンパラメータの意味を提供します。超球の制限なしでは、マージンを倍にと、すべての埋め込みが倍にスケーリングされます。 $c$ $\sqrt{c}$

— アンディ・ジョーンズ
ソース

それは理にかなっています、ありがとう。この正規化によってパラメーターの勾配がどのように変更されるか知っていますか？

— ピル

IIRCの典型的なアプローチは、各ステップの終わりに単に超球に投影し直すことです。

— アンディジョーンズ

1

いいえ、このTorch実装によると、私は間違っています。標準的な方法でグラデーションを導き出して適用するだけです。

— アンディジョーンズ