分散PCAの仕組みを理解する

ビッグデータ分析プロジェクトの一環として、

クラウドコンピューティングシステムを使用して、一部のデータに対してPCAを実行する必要があります。

私の場合、私は仕事、特にSparkにAmazon EMRを使用しています。

「How to-Perform-PCA-in-Spark」の質問はさておき、クラウドベースのアーキテクチャでPCを計算する場合、舞台裏で物事がどのように機能するかを理解したいと思います。

たとえば、データのPCを決定する手段の1つは、特徴の共分散行列を計算することです。

たとえば、HDFSベースのアーキテクチャを使用している場合、元のデータは複数のノードに分散されており、各ノードがXレコードを受信して​​いると思います。

次に、各ノードに部分的なデータしかない場合、共分散行列はどのように計算されますか？

これは単なる例です。私は、このすべての舞台裏のブードゥー教を説明する紙やドキュメントを探していますが、自分のニーズ（おそらく、Googleのスキルが低い）に対して十分なものを見つけることができませんでした。

だから私は基本的に私の質問を要約することができます\は以下でなければなりません：

1.クラウドアーキテクチャ上の分散型PCAの仕組み

できれば、いくつかの学術論文またはその他の種類の説明も含みます。

2. D-PCAのSpark実装

Sparkはそれをどのように行うのですか？彼らはそれをより効率的にするために彼らのアーキテクチャに「ひねり」を持っていますか、またはRDDオブジェクトの使用はどのように効率の改善に貢献していますか？等

それに関するオンラインレッスンのプレゼンテーションも素晴らしいでしょう。

いくつかの読書資料を提供できる人には、事前に感謝します。

質問は、Apache Sparkアーキテクチャとマップリデュースに関連しています。ここには複数の質問がありますが、あなたの質問の中心はおそらく

たとえば、データのPCを決定する手段の1つは、特徴の共分散行列を計算することです。

たとえば、HDFSベースのアーキテクチャを使用している場合、元のデータは複数のノードに分散されており、各ノードがXレコードを受信して​​いると思います。

次に、各ノードに部分的なデータしかない場合、共分散行列はどのように計算されますか？

私はそれを取り上げますが、うまくいけば問題はある程度クリアになるでしょう。

共分散計算の一般的な形式を見てみましょう。 $\frac{1}{n}\sum(x-\bar{x})(y-\bar{y})$

これには、以下を計算する必要があります。

• $\bar{x}$
• $\bar{y}$
• $x-\bar{x}$ そして $y-\bar{y}$
• 掛ける $(x-\bar{x})$ そして $(y-\bar{y})$

分散して。残りは単純です。10個のApache Sparkワーカーに配布される100個のデータポイント（x、y）があり、それぞれが10個のデータポイントを取得するとします。

の計算 $\bar{x}$ そして $\bar{y}$：各ワーカーが追加します $x/y$ 10個のデータポイントの値とこれを10で割って、 $x/y$（これはマップ関数です）。次に、Sparkマスターは集約ステップを実行し（ジョブのSpark DAGで）、10人のワーカーすべてからの部分平均が取得されて再び追加され、10で除算されて最終に到達します$\bar{x}$ または $\bar{y}$ （集約/削減操作）

の計算 $(x-\bar{x}) \cdot (y-\bar{y})$：同様に、データポイントを配布し、 $\bar{x}$ そして $\bar{y}$ すべてのワーカーへの値と部分的な計算 $(x-\bar{x}) \cdot (y-\bar{y})$、もう一度集計を実行して $\sum (x-\bar{x})(y-\bar{y})$

上記の方法は分散計算に使用され、共分散を取得する必要があります。多次元データの場合は、共分散行列を取得できます。

ポイントは、配信可能なステージの計算を分散し、配信できない計算ステージを集中化することです。これは事実上、Sparkアーキテクチャの重要な側面の1つです。

お役に立てれば。

Sparkがどのように実行するかを確認したい場合org.apache.spark.mllib.linalg.distributed.RowMatrixは、computePrincipalComponentsAndExplainedVarianceメソッドから始まるクラスを見てください。

実際に配布され、その一部はである方法で使用してグラム行列に、各入力ベクトルを蓄積し、vは入力ベクトルであり、Uは、行列の上三角部分を表します。これは、多くのエグゼキューターで同時に実行でき、部分的に集約されたマトリックスは、マトリックスを追加することによって組み合わせることができます。computeGramianMatrixBLAS.spr(1.0, v, U.data)

すべてのベクトルがグラミアン行列に集約されると、行列が共分散行列に変換され、SVDを使用してPCA行列/ベクトルが生成されます。ただし、この最終段階は配布されません。