PCA、LDA、CCA、およびPLS

PCA、LDA、CCA、およびPLSはどのように関連していますか？それらはすべて「スペクトル」および線形代数であり、非常によく理解されているように見えます（たとえば、50年以上の理論が構築されています）。それらは非常に異なることに使用されます（次元削減のためのPCA、分類のためのLDA、回帰のためのPLS）にもかかわらず、それらは非常に密接に関連していると感じています。

Tijl De Bieは、「パターン認識における固有問題」という興味深い章を書きました。この章では、これらを主/二重の観点から正確に説明しています。最後の3つの表は、最適化の観点から見事に要約しています。