スパースPCAはPCAよりどれくらい正確ですか？

24

数回前に授業でPCAについて学びました。この魅力的な概念についてさらに掘り下げることで、まばらなPCAについて知ることができました。

私が間違っていなければ、これはまばらなPCAです：PCAでは、変数を持つデータポイントがある場合、PCAを適用する前に次元空間で各データポイントを表すことができます。PCAを適用した後、同じ次元空間で再び表すことができますが、今回は、最初の主成分に最大の分散が含まれ、2番目の主成分に2番目に大きな分散方向が含まれます。したがって、データの多くの損失を引き起こさないため、最後のいくつかの主要コンポーネントを削除でき、データを圧縮できます。右？ $n$ $p$ $p$

スパースPCAは、ベクトル係数に含まれる非ゼロ値がより少ない主成分を選択しています。

これはどのようにデータをよりよく解釈するのに役立つと思われますか？誰でも例を挙げることができますか？

machine-learning pca sparse

— グロウィンマン
ソース

こんにちは、@ GrowinMan！この質問に対する私の答えを見ましたか？それに答えると思いますか？そうでない場合は、明確化を求めるか、または質問を編集してより正確にすることを検討してください。「はい」の場合は、近くにある緑色のチェックマークをクリックして、投票して「承認」することを検討してください。CrossValidatedの投票と承認スレッドがゼロであることに気付きました。

— アメーバは、モニカを復活させる

@amoebaそれを指摘してくれてありがとう。しばらくログインしておらず、機械学習にも少し触れていません。回答を必ず読んで、週末までに回答をマークしてください

— GrowinMan

問題ない。私は誤ってこの古いスレッドに出くわし、あなたに一行落とすことを考えました。

— アメーバは、モニカを復活させる

こんにちは、@ GrowinMan！:-)この古いスレッドに再び出くわした。それでもこの質問が解決されないと感じている場合は、気軽に説明を求めてください。そうでない場合は、近くにある緑色のチェックマークをクリックして、回答の1つを「承認」することを検討してください。CrossValidatedの投票と承認スレッドがゼロであることに気付きました。

— アメーバは、

29

スパースPCAが標準PCAよりも解釈しやすいかどうかは、調査するデータセットによって異なります。ここで私はそれをどう思うかです：時にはPCA投影（データの低次元表現）に、そして時には-主軸にもっと興味があります。スパースPCAが解釈にメリットをもたらすのは、後者の場合のみです。いくつか例を挙げましょう。

たとえば、神経データ（多くのニューロンの同時記録）を使用しており、PCAおよび/または関連する次元削減手法を適用して、神経集団活動の低次元表現を取得しています。1000個のニューロンがあり（つまり、データは1000次元の空間に住んでいる）、3つの主要な主軸に投影したい場合があります。これらの軸が何であるかは、私にとってまったく無関係であり、私はこれらの軸を「解釈」するつもりはありません。私が興味を持っているのは、3D投影です（アクティビティは時間に依存するため、この3D空間で軌跡を取得します）。したがって、各軸に1000個の非ゼロ係数がすべて含まれていれば問題ありません。

一方で、個々の次元が明確な意味を持つ（上記の個々のニューロンとは異なり）より「具体的な」データを扱う人がいるかもしれません。たとえば、寸法が重量から価格までのさまざまな車のデータセット。この場合、実際に主要な主軸自体に興味があるかもしれません。何か言いたいことがあるかもしれません：見て、1番目の主軸は車の「狂気」に対応します（私は今これを完全に補っている）。投影がまばらである場合、多くの変数は係数があり、この特定の軸には明らかに無関係であるため、このような解釈は一般に簡単です。標準PCAの場合、通常はすべての変数に対して非ゼロの係数を取得します。 $0$

Zou et al。による2006年のスパースPCA論文で、後者のケースに関するより多くの例といくつかの議論を見つけることができます。前者と後者の場合の違いは、しかし、どこかで明示的に議論されたのを見たことはありませんでした（おそらくそうであったとしても）。

— アメーバはモニカを復活させると言う
ソース

3

これは素晴らしい説明でした。「具体的な」データの別の例は、多くの質問があるアンケートであり、アンケートのどの質問が最も重要であり、おそらくそれらのいくつかの組み合わせが実際に1つのトピックについて尋ねていることを知りたいです。

— bdeonovic

1

したがって、データの多くの損失を引き起こさないため、最後のいくつかの主要コンポーネントを削除でき、データを圧縮できます。右？

$N$ $V_1, V_2, \cdots , V_N$ $N$ $PC_1, PC_2, \cdots , PC_N$ $V_i$ $PC_i$

$PC_i$ $V_j, V_l, \cdots$

$(PC_i, PC_{j})$ $N$

— レオンアルフ
ソース

どうやって！？この場合、主成分がスパースでない場合とは対照的に、どのように解釈するのが簡単かはわかりません。

— GrowinMan

2

私がこれについて考える方法は、結果をより解釈しやすくするために、PCの前に変数クラスタリングを行うことが多いということです。スパースPCは、変数クラスタリングとPCを1つのステップに結合し、アナリストの意思決定を少なくします。

— フランクハレル

1

PCAのスパース性の利点を理解するには、「ロード」と「変数」の違いを確認する必要があります（私にとって、これらの名前は多少arbitrary意的ですが、それは重要ではありません）。

あなたが持っていると言うNXPデータ行列X、nはサンプル数です。X = USV 'のSVDは、3つの行列を提供します。最初の2つのZ = USを組み合わせると、主成分のマトリックスが得られます。縮小ランクがkで、Zがnxkであるとしましょう。Zは、基本的に次元削減後のデータ行列です。歴史的に、

主成分のエントリ（別名Z = US）は変数と呼ばれます。

一方、V（pxk）にはプリンシパルロードベクトルが含まれ、そのエントリはプリンシパルロードと呼ばれます。PCAの特性を考えると、Z = XVであることを簡単に示すことができます。この意味は：

主成分は、主成分行列をデータ行列Xの線形結合の係数として使用して導出されます。

これらの定義が邪魔にならないので、スパース性について見ていきます。ほとんどの論文（または少なくとも私が出会ったほとんどの論文）は、プリンシパルロード（別名V）のスパース性を強制します。スパース性の利点は

スパースVは、どの変数（元のp次元の特徴空間から）が保持する価値があるかを示します。これは解釈可能性と呼ばれます。

Zのエントリにスパース性を適用する解釈もありますが、これは「スパース変数PCA」と呼ばれていますが、それはあまり一般的ではなく、正直なところあまり考えていません。

— idnavid
ソース