線形独立と統計的独立（PCAおよびICA）

遺伝子発現データへのICAの適用に関するこの興味深い論文を読んでいます。

著者は書きます：

PCAコンポーネントが統計的に独立している必要はありません。

それは事実ですが、PCは直交していますが、そうではありませんか？

統計的独立性と直交性または線形独立性との関係については、少しあいまいです。

ICAはデータマトリックスの線形分解も提供しますが、統計的独立性の要件は、非相関が線形で実行されるPCAとは対照的に、データ共分散マトリックスが非線形に非相関であることを意味します。

分かりません。線形性の欠如は統計的独立性からどのように続きますか？

質問：ICAのコンポーネントの統計的独立性は、PCAのコンポーネントの線形独立性とどのように関連していますか？

これは古い質問と重複している可能性がありますが、それでも簡単に回答します。

技術的ではない説明として、相関と依存に関するWikipediaの記事から、この図が非常に参考になります。

各散布図の上の数字は、XとYの間の相関係数を示しています。最後の行を見てください。各散布図では、相関はゼロです。つまり、XとYは「線形独立」です。ただし、これらは統計的に独立していないことは明らか です。Xの値がわかっている場合は、Yの可能な値を絞り込むことができます。XとYが独立している場合、Xを知っていても Yについて何も知らされません。

ICAの目的は、独立したコンポーネントを見つけようとすることです。PCAでは、無相関（「直交」）コンポーネントのみを取得します。それらの間の相関はゼロですが、統計的に非常に依存している可能性があります。