LLE（ローカル線形埋め込み）アルゴリズムの手順を説明してください。

LLEのアルゴリズムの背後にある基本原則は3つのステップで構成されていることを理解しています。

k-nnなどのメトリックによって各データポイントの近傍を見つける。
近傍がデータポイントに与える影響を示す各近傍の重みを見つけます。
計算された重みに基づいて、データの低次元埋め込みを構築します。

しかし、ステップ2とステップ3の数学的説明は、私が読んだすべての教科書とオンラインリソースで混乱しています。数式が使用される理由を説明することはできません。

これらの手順は実際にはどのように実行されますか？使用されている数式を直感的に説明する方法はありますか？

参照：http : //www.cs.nyu.edu/~roweis/lle/publications.html

ローカル線形埋め込み（LLE）を使用すると、離れたオブジェクト間の距離を推定する必要がなくなり、ローカル線形適合によりグローバルな非線形構造が復元されます。LLEは、学習率や収束基準などのパラメーターを必要としないため、有利です。また、LLEは、 $\mathbf{Y}$ ます。LLEの目的関数は

ζ (Y) = (Y - W Y)^{2} = Y^{⊤} (I - W)^{⊤} (I - W) Y

$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$ 重み行列

W

$\mathbf{W}$ の要素

w_{i j}

$w_{ij}$ オブジェクトの

i

$i$ および

j

$j$ あればゼロに設定され

j

$j$ の最近傍ない

i

$i$ 、そうでなければ、K-の重みをオブジェクトの最近傍

i

$i$ 最小二乗法を介して決定さはフィット

U = G β

$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$ 従属変数ここで

U

$\mathbf{U}$ ある

K \times 1

$K \times 1$ のもののベクトルは、

G

$\mathbf{G}$ は、オブジェクト

すべての最近傍の

K \times K

$K \times K$ グラム行列であり、

は、和と統一の制約に従う重みの

ベクトルです。ましょう

対称半正定値である

のK最近傍のすべてのペアの距離行列

次元オブジェクト

。それことを示すことができる

二重中心距離行列に等しい

要素と

i

$i$

β

$\boldsymbol{\beta}$

K \times 1

$K \times 1$

D

$\mathbf{D}$

K \times K

$K \times K$

p

$p$

x_{i}

$\mathbf{x}_i$

G

$\mathbf{G}$

τ

$\boldsymbol{\tau}$

τ_{l m} = - \frac{1}{2} (d_{l m}^{2} - \frac{1}{K} \sum_{l} d_{l m}^{2} - \frac{1}{K} \sum_{m} d_{l m}^{2} + \sum_{l} \sum_{m} d_{l m}^{2}) .

$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$

K

$K$ 回帰係数を用いて数値的に決定される

\underset{K \times 1}{β} = {\underset{K \times K}{(τ^{⊤} τ)}}^{- 1} \underset{K \times 1}{τ^{⊤} U},

$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$ およびそれらが統一に合計を確認するためにチェックされています。

β

$\boldsymbol{\beta}$ 値は

行

i

$i$ に埋め込まれ

W

$\mathbf{W}$ オブジェクト

i

$i$ K最近傍と転置要素に対応するさまざまな列位置。これは、データセット内の

i

$i$ 番目のオブジェクトごとに繰り返されます。最近傍

K

$K$ 数が少なすぎると、

W

$\mathbf{W}$ がまばらになり、固有解析が困難になる可能性があることに注意する必要があります。これは、ことが観察された

K = 9

$K=9$ の最近傍をもたらした

W

$\mathbf{W}$ 固有解析中に病理が含まれていませんでし行列。目的関数は、

の最小の非ゼロ固有値を見つけることにより最小化され

(I - W)^{⊤} (I - W) E = Λ D E .

$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$

X

$\mathbf{X}$ の簡約形式は

Y = E

$\mathbf{Y}=\mathbf{E}$ で表され

ここで、

E

$\mathbf{E}$ は

2つの最低固有値に基づいて

n \times 2

$n \times 2$ 次元を持ちます。

Λ

$\boldsymbol{\Lambda}$

— JoleT
ソース

Y

$Y$

Y

$Y$

W

$W$

はい。ただし、たとえば8次元がある場合、ランダムなデータの場合、文字通り、すべてのポイントは、他の9つの線形結合として、無限の方法で完全に書き込むことができます。

— スコット

テクニックを実装するときは常に「what if」シナリオがあり、それがパラメーター制約が使用される理由です。

— JoleT