「非線形次元削減」のように「非線形」を理解する方法は？

24

線形次元削減法（PCAなど）と非線形法（Isomapなど）の違いを理解しようとしています。

この文脈で（非）線形性が何を意味するのか、私にはまったく理解できません。ウィキペディアから読んだこと

比較すると、PCA（線形次元削減アルゴリズム）を使用してこの同じデータセットを2つの次元に削減すると、結果の値はあまり整理されません。これは、この多様体をサンプリングする高次元ベクトル（それぞれが文字「A」を表す）が非線形に変化することを示しています。

何をする

この多様体をサンプリングする高次元ベクトル（それぞれ文字「A」を表す）は、非線形に変化します。

平均？それとももっと広い意味で、この文脈における（非）線形性をどのように理解すればよいのでしょうか？

— シブスギャンブル
ソース

20

次元削減とは、各多次元ベクトルを低次元ベクトルにマッピングすることを意味します。つまり、各多次元ベクトルを低次元ベクトルで表現（置換）します。

線形次元削減とは、低次元ベクトルの成分が、対応する高次元ベクトルの成分の線形関数によって与えられることを意味します。たとえば、2次元に縮小する場合：

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

場合f1とf2（非）線形関数であり、我々は（非）線形次元削減を持っています。

— ローマン
ソース

3

明確にするために、このコンテキストで「線形」は、または何らかの一般化された同等物を意味することを追加する必要があります。たとえば、各PCA次元は、入力の「線形結合」です。

f (a \cdot x + b) = a \cdot f (x) + b

$f(a\cdot x + b) = a\cdot f(x) + b$

w_{1} x_{1} + \dots + w_{n} x_{n}

$w_1x_1 + \dots + w_nx_n$

— シャドウトーカー14年

1

私は何を意味することである：、とは、それぞれ低次元と高次元のベクトルのコンポーネントです（そして、それはあなたが言っていることではないと思います）。問題は、線形関数とは何かを理解することではなく、線形性が現れる場所にあると思いました。

f_{i} = f_{i} (x_{1}, \dots, x_{n}) = c^{(i)} + ω_{1}^{(i)} x_{1} + \dots ω_{n}^{(i)} x_{n}

$f_i = f_i (x_1, \dots, x_n) = c^{(i)} + \omega^{(i)}_1 x_1 + \dots \omega^{(i)}_n x_n$

f_{i}

$f_i$

x_{i}

$x_i$

— ローマン14年

49

写真は千の言葉に値する：

PCA vsアイソマップ

ここでは、2Dの1次元構造を探しています。点はS字曲線に沿っています。PCA は、単純な直線である線形 1次元多様体でデータを記述しようとします。もちろん、線はこれらのデータに非常に良く適合します。Isomapは、非線形（つまり、曲線！）1次元多様体を探しており、基礎となるS字曲線を発見できるはずです。

— アメーバはモニカを復活させると言う
ソース