SVD上でJohnson-Lindenstrauss補題を使用する場合

Johnson-Lindenstraussの補題により、高次元空間の点を低次元の点に表すことができます。最適な低次元空間を見つけるときの標準的な手法は、特異値分解を見つけてから、最大の特異値によって生成された部分空間を取得することです。SVD上でJohnson-Lindenstraussを使用するのはいつ関心がありますか？

machine-learning

— user09128323
ソース

回答:

2つのアプローチは、非常に異なる保証を提供します。

JL Lemmaは基本的に「あなたが望む誤差を与えてくれ、その誤差までの距離を捉える低次元の空間を与えます」と言っています。また、最悪の場合のペアワイズ保証です：ポイントの各ペアなど

SVDは基本的に「どの次元に住みたいか教えて、可能な限り最高の埋め込みを提供します」と約束しています。ここで、「最良」は平均として定義されます。

したがって、理論的な観点からは、非常に異なる問題を解決します。実際には、どちらが必要かは、問題のモデル、より重要なパラメーター（エラーまたはディメンション）、および必要な保証の種類によって異なります。

— スレシュ・ベンカット
ソース

（1-eps）| uv | ^ 2 <= | f（u）-f（v）| ^ 2 <=（1 + eps）| uv | ^ 2で

がどのように正確に得られるかを教えてもらえますか（en.wikipedia.org/wiki/Johnson%E2%80%93Lindenstrauss_lemmaから）？

f (\cdot)

$f(\cdot)$

— T .... 14年

それはまったく別の質問です。しかし、（非常に）簡単に言えば、行列

を取得し、標準法線から描画されたエントリをそこに入力すると、

は

として定義されます。

A

$A$

f (x)

$f(x)$

A x

$Ax$

— スレシュヴェンカト

ハミングメトリックに歪みがある場合、有限フィールド用のJLスキームもありますか？もしそうなら、

はここにあるでしょうか？

f

$f$

— T .... 14年

これをハミングメトリックに対して効果的に次元削減することはできません。

構造は非常に異なっています。非常に手軽な意味で、JLスタイルの削減を認めることは、ヒルベルト空間での生活に関連しています。

ℓ_{1}

$\ell_1$

— Suresh Venkat 14年

SVDとJLも、将来のポイントを異なる方法で推定します。

つまり、データが基礎となる分布からのものであると想定する場合、原則として、同じ分布からサンプリングされる限り、SVDは将来のポイントに対して「良好」のままである必要があります。一方、JLのターゲットディメンションはポイントの数に依存します。つまり、JL変換を追加のポイントに適用すると、エラーの確率が高くなる可能性があります。

これは、たとえば、他のアルゴリズムの前処理ステップとして次元削減を使用している場合に関連します。トレーニングデータのSVD境界はテストデータを保持できますが、JLは保持しません。

— しわ
ソース

これは非常に良い点です。

— ポールシーゲル14

これはSureshの回答のフォローアップです-彼の回答を読んだ後、少しグーグルで調べて、次のような理解を思いつきました。私はもともとこれを彼の答えに対するコメントとして投稿するつもりでしたが、増え続けました。

答えの誤りを指摘してください。私はこの分野の専門家ではありません。

ある意味では、JLとSVDはリンゴとオレンジのようなものです。

1）彼らが解決する問題は完全に異なっています。1つはペアワイズ距離に関係し、もう1つは最適な表現に関係します。1つは最悪の場合、もう1つは平均的な場合です。

\begin{matrix} (1) & \arg min_{P} {sup_{u, v} (| 1 - \frac{| | P u - P v | |_{2}}{| | u - v | |_{2}} |)} \end{matrix}

$\arg\min\limits_{P} \left\{\sup\limits_{u,v} \left(\Biggl\lvert 1- \frac{||Pu-Pv||_2}{||u-v||_2} \Biggl\rvert \right) \right\} \tag{1}$

（これは正確ではありません。これについては後で詳しく説明します）

$k$

\arg min_{P of dim k} {Avg (| | u - P u | |_{2})}

$\arg\min\limits_{P\text{ of dim k}} \left\{\text{Avg}\left(||u-Pu||_2\right)\right\}$

$\epsilon$

3）JLは非構成的で、SVDは構成的です-構成的という用語が正確に定義されていないため、この点は少しあいまいです。SVDを計算するための決定論的なアルゴリズムがありますが、JL空間を見つけるためのアルゴリズムはランダム化されています。ランダムな投影を行い、失敗した場合は再試行してください。

4）SVDは一意です（部分空間は一意ではない場合がありますが、目標値はすべての部分空間で同じです）。上記のEqn（1）は、JLがペアワイズ距離の不一致を最小化することについて実際には話していないという意味で正確ではありません-距離が最大になる小さな部分空間の存在を保証します $\epsilon$ 実際の値とは異なります。このようなサブスペースは多数存在する可能性があり、一部は他よりも優れています。

（回答のストライキ部分に関する説明については、コメントを参照してください）。

編集：@ john-myles-whiteはJLに関する投稿を書いて、その主張を検証し、予測の構築方法を示しています：http : //www.johnmyleswhite.com/notebook/2014/03/24/a-note- on-the-johnson-lindenstrauss-lemma /

— エレホビー
ソース

答えにはいくつかのエラーがあります。（1）JLは非常に建設的です：マッピングを構築するためのすべての種類のアルゴリズムがあります（2）差異を保持しませんが、相対的な差異（比率）（3）JL補題がランダム化解除されました（4）JLが機能します以下のための任意のベクトルの集合：建設は、実際の入力とは無関係です。必要な情報はベクトルの数だけです。

— スレシュヴェンカト

ありがとう、シュレシュ。最終提案以外はすべて取り入れました。回答をさらに編集してください。最後の点で、私は混乱しています。どんなベクトルを与えても同じマップが機能すると言っているのですか？

— elexhobby 14年

それは少し微妙な点です。エラーとベクトルの数を修正すると、マップ上に固定された確率分布があり、任意のベクトルのセットに対して高い確率で機能します。もちろん、この特性を満たす決定論的に固定された線形マップはありません。

— サショニコロフ2014

これは、オリビエGriselのチェックアウトする価値があるscikit-学ぶ実装

— KLDavenport

一般にJL埋め込みを構築するための決定論的アルゴリズムがないだけでなく、JLアルゴリズムに従ってランダムに生成された行列が実際に「ほぼ等尺性」プロパティを持っていることを確認することは通常、計算上禁止です非常に高い確率で行います）。したがって、JL定理は建設的ではないと言うのは理にかなっていると思います。アルゴリズムと比較して「ランダムな実数を選択します

0

$0$ そして

1

$1$ ";これは確率で超越数を与える

1

$1$ 、しかし建設的とは呼びません。

— ポールシーゲル14