「ランダムプロジェクション」は厳密にはプロジェクションではありませんか？

ランダム射影アルゴリズムの現在の実装は、からそれらをマッピングすることにより、データサンプルの次元を減らすに用い射影行列を持つエントリからインスタンスに適した分布（からIIDさを）：$\mathbb R^d$$\mathbb R^k$$d\times k$$R$$\mathcal N(0,1)$

$x^\prime = \frac{1}{\sqrt k}xR$

便利なことに、このマッピングがペアワイズ距離をほぼ維持することを示す理論的な証明が存在します。

しかし、最近私はこれらのメモを見つけました。著者は、ランダムマトリックスを使用したこのマッピングは、単語の厳密な線形代数的意味での射影ではないと主張しています（6ページ）。そこに与えられた説明から、これは、そのエントリがから独立して選択される場合、の列は厳密に直交しないためです。したがって、の列の直交性が強制された以前のバージョンのRPは、投影と見なすことができます。$R$$\mathcal N(0,1)$$R$

（1）この厳密な意味での射影の定義は何か、（2）なぜこの定義の下ではRPが射影にならないのかについて、より詳細な説明を提供できますか？

1. この厳密な（線形代数）意味での（単語の）射影の定義は何ですか

   https://en.wikipedia.org/wiki/Projection_(linear_algebra）

   線形代数及び機能解析において、突起は線形変換である$P$ベクトル空間からそれ自体になるように$P^2 = P$。つまり、$P$が任意の値に2回適用されると、1回適用された場合と同じ結果になります（べき等）。

   直交射影またはベクトル射影の場合、

   https://en.wikipedia.org/wiki/Projection_(linear_algebra）

   直交射影は、範囲Uとヌル空間Vが直交部分空間である射影です。

2. なぜこの定義ではRPが予測にならないのですか？

   Michael Mahoneyは、RPが従来の線形代数的意味での投影であるかどうかに関係なく、RPがどのように構築されるかに依存することを講義ノートに書いています。これは彼が3番目と4番目のポイントで行います：

   第3に、ランダムなベクトルが正確に直交している場合（実際には元のJL構成にあったように）、JL投影は直交投影である必要があります。

   ...

   しかし、これはガウス、$\lbrace \pm \rbrace$確率変数、およびその他のほとんどの構成では誤りですが、結果のベクトルがほぼユニット長でほぼ直交していることを証明できます

   ...

   これで十分です。

   したがって、原則として、直交行列に限定された別の構成でランダム射影を行うことができます（ただし、これは必要ありません）。たとえば元の作品を見てください：

   ジョンソン、ウィリアムB、およびジョラムリンデンシュトラウス。「リプシッツマッピングのヒルベルト空間への拡張。」現代数学26.189-206（1984）：1。

   ...ランダムにl n 2上のランク$k$正射影を選択した場合$l_2^n$

   ...

   これは正確にするために、我々は、聞かせて$Q$第への投影である$k$の座標$l_2^n$およびlet $\sigma$にハール測度を正規化することが$O(n)$、上の直交グループ$l_2^n$。次いで、ランダム変数

   $$f: (O(n), \sigma) \to L(l_2^n)$$ によって定義された $$f(u) = U^\star Q U$$ 「ランダムランク$k$射影」の概念を決定します。

   ウィキペディアのエントリは、このようにランダム投影を説明しています（同じことが10および11ページの講義ノートに記載されています）

   https://en.wikipedia.org/wiki/Random_projection#Gaussian_random_projection

   最初の行は、$S^{d − 1}$から一様に選択されたランダムな単位ベクトルです。2番目の行は最初の行に直交する空間からのランダムな単位ベクトルで、3番目の行は最初の2つの行に直交する空間からのランダムな単位ベクトルです。

   ただし、正規分布の行列ランダム変数および独立変数のすべての行列エントリを取得する場合、一般にこの直交性は得られません（Whuberがコメントで言及したように、「列が常に直交している場合、それらのエントリは独立していない」）。

   行列$R$と正規直交列の場合の積は、射影行列$P = R^TR$に関連しているため、射影と見なすことができます。これは、通常の最小二乗回帰を投影として見るのと少し同じです。積$b = R^T x$は射影ではありませんが、異なる基底ベクトルの座標を提供します。「実際の」射影は$x' = Rb = R^TRx$であり、射影行列は$R^TR$です。

   射影行列$P=R^TR$は、射影の範囲である部分空間Uの恒等演算子である必要があります（Wikipediaページで言及されているプロパティを参照してください）。あるいは、それが固有値1と0を持つ必要があるという別の言い方をすると、それが恒等行列である部分空間は、固有値1に関連付けられた固有ベクトルの範囲になります。ランダムな行列エントリでは、このプロパティは得られません。これが講義ノートの2番目のポイントです$U$

   ...それは多くの点で直交行列「のように見える」... $range(P^T P)$均一に分布した部分空間である...しかし、固有値はしていない$\lbrace 0, 1 \rbrace$。

   ^{メモこの引用でマトリックスその$P$行列に関する$R$問題ではなく、射影行列を$P = R^TR$マトリクスによって暗示される$R$}

   したがって、行列のランダムエントリを使用するなど、さまざまな構成によるランダムな投影は、正射影と正確に同じではありません。しかし、計算は単純で、Michael Mahoneyによれば、「十分に良い」とのことです。

そうです。「ランダムな投影」は厳密には投影ではありません。

突起は、明確な数学的オブジェクトに定義される：https://en.wikipedia.org/wiki/Projection_(linear_algebra）を -それは線形idempotentent演算子である、すなわち、線形演算子$P$そのようなことは$P^2 = P$。投影を2回適用することは、1回だけ適用することと同じです。なぜなら、点が部分空間に投影された後、再度投影された場合、そこにとどまるだけだからです。この定義の直交性については何もありません。実際、予測は斜めになることがあります（Wikipediaを参照）。

この意味で正方行列のみが「射影」を表すことができることに注意してください。「ランダム突起は」ランダム使用して$d\times k$行列$R$用いて$k\ll d$それはおそらく上記の定義の意味で投影することができないので、。

$R$の列を正規直交にする場合でも（たとえば、グラムシュミットプロセスを適用することにより）、この引数は適用されます。最近誰かがPCAについてこの質問をしました：PCA のコンテキストで「射影行列」と正確に何を呼ぶべきですか？- 正規直交固有ベクトルの$d\times k$行列$U$も厳密に言えば射影ではありません。

$d\times k$$R$$R$$x\in \mathbb R^d$$R$

$p = xR(R^TR)^{-1}R^T$$p\in\mathbb R^d$

$R$$R^TR = I\in \mathbb R^{k\times k}$$x$$R$

$p = xRR^T$$p\in\mathbb R^d$

$RR^T\in\mathbb R^{d\times d}$$(RR^T)^2=RR^TRR^T=RR^T$

$R$$\mathbb R^k$$\mathbb R^d$$x\in\mathbb R^d$$xRR^T$$R$$RR^T$

ここで私の推論を確認/修正していただければ幸いです。

参照：

[1] http://www.dankalman.net/AUhome/classes/classesS17/linalg/projections.pdf

Fast Walsh Hadamard変換の前に再計算可能なランダム符号反転または置換を使用する場合、ランダム投影は直交です。