線形変換後、コサイン類似度はどのように変化しますか？

9

間に数学的な関係はありますか？

2つのベクトルとのコサイン類似度、および $\operatorname{sim}(A, B)$ $A$ $B$
コサイン類似度の及び、不均一にスケーリングされ、所与の行列を介して？ここで、は与えられた対角行列で、対角要素が等しくありません。 $\operatorname{sim}(MA, MB)$ $A$ $B$ $M$ $M$

計算を重ねてみましたが、シンプルで面白いリンク（式）にたどり着けませんでした。あるかしら。

たとえば、角度は不均一なスケーリングでは保持されませんが、元の角度と不均一なスケーリング後の角度の関係はどうですか？ベクトルS1のセットとベクトルS2の別のセットの間のリンクについては何が言えるでしょうか。S2はS1を不均一にスケーリングすることによって得られます。

linear-algebra cosine-similarity

— turdus-merula
ソース

@whuber、ありがとう！はい、Mは与えられた行列です（スケーリング行列-したがって、対角行列、他の制限なし）。ある意味で、私は、非線形スケーリングの影響を受けるベクトル空間に対して（ベクトルの任意のペアのコサイン類似性に関して）何が起こるかを知りたいと思っていました。

— turdus-merula

2

すべてのスケールファクターが負でない場合（当然想定されるように）、対称の正定行列はすべて「スケーリング」行列と見なすことができることに注意してください。あなたが求める関係は、とりわけ、地図投影における歪みの研究と説明に広く使用されています。そこでは、地図上の2つの垂直方向に関連付けられている地表面の最大角度と最小角度に関心が集中しています。これらの角度と2つのスケール係数の比率の間には直接的な関係があります。

— whuber

8

なぜなら非常に一般的であり、コサイン類似度の変化は、特定に依存ととのそれらの関係、明確な式は不可能です。ただし、コサインの類似性がどれだけ変化するかについては、実際に計算可能な限界があります。それらは、と間のコサイン類似度が指定された値、たとえば（はと間の角度ある場合、と間の角度を極値化することによって見つけることができます。答えは、角度 $M$ $A$ $B$ $M$ $MA$ $MB$ $A$ $B$ $\cos(2\phi)$ $2\phi$ $A$ $B$ $2\phi$ 変換によって曲げられる可能性があります。 $M$

計算は面倒になる恐れがあります。表記のいくつかの賢い選択は、いくつかの予備的な簡略化とともに、労力を減らします。これは、ことが判明した二次元のソリューションは、我々が知る必要があるすべてを明らかにする。 これは扱いにくい問題であり、1つの実変数のみに依存します。これは、微積分手法を使用して簡単に解決できます。単純な幾何学的引数は、この解を任意の数の次元拡張します。 $\theta$ $n$

数学の予備

定義により、任意の2つのベクトルと間の角度の余弦は、それらを単位長に正規化し、それらの積をとることによって得られます。したがって、 $A$ $B$

\frac{A^{'} B}{\sqrt{(A^{'} A) (B^{'} B)}} = \cos (2 ϕ)

$\frac{A^\prime B}{\sqrt{(A^\prime A)\, (B^\prime B)}} = \cos(2\phi)$

そして、書き込み、の画像との間の角度の余弦及び変換の下であります $\Sigma = M^\prime M$ $A$ $B$ $M$

\begin{matrix} (1) & \frac{(M A)^{'} (M B)}{\sqrt{((M A)^{'} (M A)) ((M B)^{'} (M B))}} = \frac{A^{'} Σ B}{\sqrt{(A^{'} Σ A) (B^{'} Σ B)}} . \end{matrix}

$\frac{(MA)^\prime (MB)}{\sqrt{((MA)^\prime (MA))\, ((MB)^\prime (MB))}} = \frac{A^\prime \Sigma B}{\sqrt{(A^\prime \Sigma A) (B^\prime \Sigma B)}}.\tag{1}$

$\Sigma$ 自体ではなく、分析ではのみが重要であることに注意してください。したがって、問題を単純化するためにの特異値分解（SVD）を利用することがあります。これは、を直交行列、対角行列、および別の直交行列積（右から左）として表すことを思い出してください。 $M$ $M$ $M$ $V^\prime$ $D$ $U$

M = U D V^{'} .

$M = U\,D\,V^\prime.$

言い換えると、特権ベクトル（の列）の基礎があり、は、の対角エントリによって各個別に再スケーリングすることによって動作し（これを呼び出します））その後、回転（または回転防止）を結果に適用します。この最終的な回転によって長さや角度が変わることはないため、は影響しません。あなたは計算でこれを正式に見ることができます $e_1, \ldots, e_n$ $V$ $M$ $e_i$ $i^\text{th}$ $D$ $d_i$ $U$ $\Sigma$

Σ = M^{'} M = (U D V^{'})^{'} (U D V^{'}) = V D (U^{'} U) D V^{'} = V D^{2} V^{'} .

$\Sigma = M^\prime M = (U D V^\prime)^\prime (U D V^\prime) = V D (U^\prime U) D V^\prime = V D^2 V^\prime.$

したがって、を調べるために、をと同じ値を生成する他の行列に自由に置き換えることができます。サイズが小さくなるようにことで（そしてがまったくゼロではないと仮定して）、のな選択は次のです。 $\Sigma$ $M$ $(1)$ $e_i$ $d_i$ $M$ $M$

M = \frac{1}{d_{1}} D V^{'} .

$M = \frac{1}{{d_1}} D V^\prime.$

の対角要素は $(1/{d_1})D$

1 = d_{1} / d_{1} \geq λ_{2} = d_{2} / d_{1} \geq λ_{3} = d_{3} / d_{1} \geq \dots \geq λ_{n} = d_{n} / d_{1} \geq 0.

$1 = d_1/d_1 \ge \lambda_2 = d_2/{d_1} \ge \lambda_3 = d_3/{d_1} \ge \cdots \ge \lambda_n = d_n/{d_1} \ge 0.$

具体的には、すべての角度に対するの効果（元の形式または変更された形式のいずれであっても）は、次の事実によって完全に決定されます。 $M$

M e_{i} = λ_{i} e_{i} .

$M e_i = \lambda_i e_i.$

特別なケースの分析

ましょう。ベクトルの長さを変更してもそれらの間の角度は変更されないため、とは単位ベクトルであると想定できます。平面では、そのようなすべてのベクトルをとのなす角度で指定できるため、 $n=2$ $A$ $B$ $e_1$

A = \cos (θ - ϕ) e_{1} + \sin (θ - ϕ) e_{2} .

$A = \cos(\theta-\phi)e_1 + \sin(\theta-\phi)e_2.$

したがって

B = \cos (θ + ϕ) e_{1} + \sin (θ + ϕ) e_{2} .

$B = \cos(\theta+\phi)e_1 + \sin(\theta+\phi)e_2.$

（下図参照）

適用は簡単ですと最初の座標を修正し、2番目の座標にを乗算します。したがって、からへの角度は $M$ $A$ $B$ $\lambda_2$ $MA$ $MB$

f (θ) = \arctan (λ_{2} \tan (θ + ϕ)) - \arctan (λ_{2} \tan (θ - ϕ)) .

$f(\theta) = \arctan(\lambda_2 \tan(\theta+\phi)) - \arctan(\lambda_2 \tan(\theta-\phi)).$

は連続関数であるため、この角度の差は連続関数です。実際、それは区別可能です。これにより、導関数の零点を調べることにより、極値角度を見つけることができます。その導関数は簡単に計算できます。これは三角関数の比率です。ゼロはその分子のゼロ間でのみ発生する可能性があるため、分母を計算する手間を省きましょう。私達は手に入れました $M$ $\theta$ $f^\prime(\theta)$

f^{'} (θ) = \frac{λ_{2} (1 - λ_{2}) (λ_{2} + 1) \sin (2 θ) \sin (2 ϕ)}{*} .

$f^\prime(\theta) = \frac{\lambda_2(1-\lambda_2)(\lambda_2+1)\sin(2\theta)\sin(2\phi)}{*}.$

、、およびの特殊なケースは簡単に理解できます。これらは、ランクが低い場合に対応します（したがって、すべてのベクトルを線に押しつぶします）。ここで、は単位行列の倍数です。また、とは平行です（に関係なく、それらの間の角度は変更できません）。ケースは、条件によって除外され。 $\lambda_2=0$ $\lambda_2=1$ $\phi=0$ $M$ $M$ $A$ $B$ $\theta$ $\lambda_2=-1$ $\lambda_2 \ge 0$

これらの特別な場合を除いて、ゼロは、つまりまたはます。これは、によって決定される線が角度二等分することを意味します。と間の角度の極値は値の間にある必要があることがわかったので、それらを計算してみましょう。 $\sin(2\theta)=0$ $\theta=0$ $\theta=\pi/2$ $e_1$ $AB$ $MA$ $MB$ $f(\theta)$

\begin{aligned} f (0) & = \arctan (λ_{2} \tan (ϕ)) - \arctan (λ_{2} \tan (- ϕ)) = 2 \arctan (λ_{2} \tan (ϕ)); \\ f (π / 2) & = \arctan (λ_{2} \tan (π / 2 + ϕ)) - \arctan (λ_{2} \tan (π / 2 - ϕ)) = 2 \arctan (λ_{2} \cot (- ϕ)) . \end{aligned}

$\eqalign{ f(0) &= \arctan(\lambda_2 \tan(\phi)) - \arctan(\lambda_2 \tan(-\phi)) = 2\arctan(\lambda_2\tan(\phi)); \\ f(\pi/2) &= \arctan(\lambda_2 \tan(\pi/2+\phi)) - \arctan(\lambda_2 \tan(\pi/2-\phi)) = 2\arctan(\lambda_2\cot(-\phi)). }$

対応するコサインは

\begin{matrix} (2) & \cos (f (0)) = \frac{1 - λ_{2}^{2} \tan (ϕ)^{2}}{1 + λ_{2}^{2} \tan (ϕ)^{2}} \end{matrix}

$\cos(f(0)) = \frac{1 - \lambda_2^2 \tan(\phi)^2}{1 + \lambda_2^2 \tan(\phi)^2}\tag{2}$

そして

\begin{matrix} (3) & \cos (f (π / 2)) = \frac{1 - λ_{2}^{2} \cot (ϕ)^{2}}{1 + λ_{2}^{2} \cot (ϕ)^{2}} = \frac{\tan (ϕ)^{2} - λ_{2}^{2}}{\tan (ϕ)^{2} + λ_{2}^{2}} . \end{matrix}

$\cos(f(\pi/2)) = \frac{1 - \lambda_2^2 \cot(\phi)^2}{1 + \lambda_2^2 \cot(\phi)^2} = \frac{\tan(\phi)^2 - \lambda_2^2 }{\tan(\phi)^2 + \lambda_2^2}.\tag{3}$

多くの場合、が直角を歪める方法を理解することで十分です。この場合、、になります。これは、前の数式に挿入できます。 $M$ $2\phi=\pi/2$ $\tan(\phi) = \cot(\phi) = 1$

が小さくなるほど、これらの角度が極端になり、歪みが大きくなることに注意してください。 $\lambda_2$

この図は、角度で分離されたベクトルと 4つの構成を示しています。下の単位円とその楕円形のイメージは、参照用に陰影が付けられています（のアクションがになるように一様に再スケーリングされています）。図の見出しは、と中点であるの値を示します。によって変換されたときにこのようなと最も近いものは、左側にあるような構成です $A$ $B$ $2\phi = \pi/3$ $M$ $M$ $\lambda_1=1$ $\theta$ $A$ $B$ $A$ $B$ $M$ $\theta=0$ 。それらが最も離れている可能性があるのは、した右側の構成です。2つの中間的な可能性が示されています。 $\theta=\pi/2$

すべての次元のソリューション

が各次元を係数だけ拡張することによってどのように作用するかを見てきました。これにより、単位球が楕円に変形されます。その主軸を決定します。楕円体に、これらの軸に沿って、原点からの距離です。したがって、ある最小である最短距離楕円と最大のもの、原点から（任意の方向に）、ある遠い距離楕円の原点から（任意の方向で）。 $M$ $i$ $\lambda_i$ $\{A\,|\, A^\prime A = 1\}$ $e_i$ $\lambda_i$ $\lambda_n$ $\lambda_1$

より高次元のでは、とは2次元の部分空間の一部です。は、この部分空間の単位円を、楕円体とおよびを含む平面との交点にマッピングします。この交点は円の線形歪みであり、楕円です。明らかに、この楕円までの最遠距離はあり、最短距離は以上です。 $n\gt 2$ $A$ $B$ $M$ $MA$ $MB$ $\lambda_1=1$ $\lambda_n$

前のセクションの終わりで観察したように、最も極端な可能性は、対応する比率が可能な限り小さい2つのを含む平面にとが配置されている場合です。これは、平面で発生します。 その場合の解決策はすでにあります。 $A$ $B$ $e_i$ $\lambda_i$ $e_1, e_n$

結論

余弦類似性を持つ2つのベクトルにを適用することによって達成可能な余弦類似性の極値は、および与えられます。これらは、ベクトルを最大に伸ばす方向（方向など）に等しい角度でとを配置し、ベクトルを最小に伸ばす方向にそれらを分離することによって達成されます（方向など）。など）方向。 $M$ $\cos(2\phi)$ $(2)$ $(3)$ $A$ $B$ $\Sigma=M^\prime M$ $e_1$ $\Sigma$ $e_n$

これらの極値は、のSVDに関して計算できます。 $M$

— whuber
ソース

これは素晴らしい答えです！この詳細な議論をありがとうございました！eqn（3）の符号が間違っていると思いますが、全体としてマイナス記号が必要です。

— LFH 2016年

角度がゼロに近づく場合に興味があり、と間の不等式を取得したいと思います。あなたの計算に基づいて、私は最も極端な（つまり最小の）を見つける必要があるだけであり、この場合、漸近的不等式は as？

2 ϕ

$2\phi$

2 ϕ

$2\phi$

f

$f$

λ_{n}

$\lambda_n$

2 λ_{n} ϕ \leq f \leq 2 λ_{n}^{- 1} ϕ

$2\lambda_n\phi\leq f\leq 2\lambda_n^{-1}\phi$

ϕ \to 0

$\phi\to0$

— LFH 2016年

6

あなたはおそらく興味があります：

(M A, M B) = A^{T} (M^{T} M) B,

$(MA,MB)=A^T(M^TM)B,$

（またはPCAと呼ぶ人）を対角化できます。これは変換下での類似性がを主成分に射影ことによって動作することを示し、その後この新しい空間の類似度を計算します。これをもう少し具体化するために、主成分を固有値を持つとします。その後 $M^TM=U\Sigma U^T$ $A,B$ $M$ $A,B$ $u_i$ $\lambda_i$

U B = \sum_{i} (u_{i}, b_{i}) u_{i}, U A = \sum_{i} (u_{i}, a_{i}) u_{i},

$UB=\sum_i(u_i,b_i)u_i, \ UA=\sum_i(u_i,a_i)u_i,$

あなたに与える：

(M A, M B) = \sum_{i = 1}^{n} (u_{i}, a_{i}) (u_{i}, b_{i}) λ_{i} .

$(MA,MB)=\sum_{i=1}^n (u_i,a_i)(u_i,b_i)\lambda_i.$

ここでスケーリングが行われていることに注意してください。は伸縮しています。場合単位ベクトルとなら毎いる、次に回転に対応し、あなたが得る：ありますローテーション下では内積は不変であると言うのと同じです。一般に、がコンフォーマル変換である場合、角度は同じままです。この場合、が反転可能であり、の極分解がでを満たす、つまります。 $\lambda_i$ $A,B$ $\lambda_i=1$ $M$ $\mbox{sim}(MA,MB)=\mbox{sim}(A,B)$ $M$ $M$ $M$ $M=OP$ $P=aI$ $M^TM=a^2I$

— アレックスR.
ソース

1

問題の最初のステートメントでは、コサイン類似度の計算に必要なベクトル、、、およびの正規化を無視しています。後続の分析もこの正規化に対処しているようには見えません。特に、すべての固有値がとは異なる何らかの（正の）値に等しい場合でも、コサインの類似性は保持されることに注意してください。これは、この単純なケースでさえ、はるかに多くのことが言えることを示しています。

A

$A$

B

$B$

M A

$MA$

M B

$MB$

1

$1$

— whuber

@whuber：正確場合コサイン類似度は維持され、この場合に必要と等価である等角変換である可逆となるように、同一の倍数。別の言い方をすると、の極分解は満たし、ここでです。あなたは正規化について正しいですが、正規化されていないベクトルとのコサイン類似性について話すのはばかげているようです。

M

$M$

M

$M$

M^{T} M = a^{2} I

$M^TM=a^2I$

M

$M$

M = O P

$M=OP$

P = a I

$P=aI$

A, B

$A,B$

— Alex R.

2

まったくばかげていません！この「類似性」は、ベクトル間の角度の余弦によって与えられるため、2つの非ゼロベクトルに対して意味があります。私は「ずっと言うことができる」の意味することの画像との間の角度でその効果的な境界であるとの間の角度の面で得ることができととの固有値。

A

$A$

B

$B$

A

$A$

B

$B$

M

$M$

— whuber