相関行列からの確率変数の最小相関サブセット

相関行列$A$。これは、Matlabのcorrcoef（）を通じてピアソンの線形相関係数を使用して取得しました。次元100x100の相関行列。つまり、100個の確率変数で相関行列を計算しました。

これらの100個の確率変数の中で、相関行列に含まれる「相関がほとんどない」10個の確率変数を見つけたいと思います（測定するメトリックについて、相関行列Bと比較して相関行列Aに含まれる「より多くの相関」の量の定量化を参照してください）相関行列の全体的な相関関係）。私はペアワイズ相関のみを気にします。

それらの10個の確率変数を妥当な時間内に見つけるための良い方法はありますか（たとえば、私は試したくない$\binom{100}{10}$組み合わせ）？近似アルゴリズムは問題ありません。

絶対的なペアワイズ相関の合計を選択基準として考えてみましょう。我々は、このようにベクトルシーク用いて、L 1（V ）= N最小になるV 'のQ V Q 、I 、J =を| A i j | 。$v\in\{0,1\}^N$$l_1(v)=n$$v'Qv$$Q_{ij}=|A_{ij}|$

QもAと同様に正定であると仮定すると、問題は制約付き2次最適化問題を解くことに帰着します。

$$v^*=\min\ v'Qv\ s.t.\ l_1(v)=n,\ v_i\in\{0,1\}$$

これは次のリラクゼーションを示唆しています：

$$v^*=\min\ v'Qv\ s.t.\ l_1(v)=n,\ v_i\in[0,1]$$

市販のソルバーを使用して簡単に解決できます。次に、結果は最大コンポーネントによって与えられます。v $n$$v^*$

サンプルMATLABコード：

N=100;
n=10;
% Generate random data
A=rand(N,1000);
C=corrcoef(A');
Q=abs((C+C')/2); % make sure it is symmetric
x = cplexqp(Q,zeros(1,N),[],[], ones(1, N),n, zeros(N,1), ones(N,1));
% If you don't use CPLEX, use matlab's default
% x = quadprog(Q,zeros(1,N),[],[], ones(1, N),n, zeros(N,1), ones(N,1));
assert(abs(sum(x)-n)<1e-10);
% Find the n largest values
I=sort(x); 
v=zeros(size(x)); v(x>I(N-n))=1; 
assert(abs(sum(v)-n)<1e-10);
% Make sure we do better than 10K random trials
for i=1:10000
   vc=zeros(size(x)); vc(randperm(N,n))=1;
   assert(sum(vc)==n, 'Wrong l0 norm');
   assert(vc'*Q*vc>v'*Q*v, 'Improves result');
end
% Show results
J=find(v==1);
fprintf('The optimal solution total off-diagonal correlations are %1.3f\n', v'*Q*v-n);
fprintf('The matrix:\n');
C(J,J)

これは@ttnphnsの階層的クラスタリングの考えよりも悪いかもしれません。しかし：私は増加する準モジュラー目的関数としてを使用する論文で起こりました：$\log \det(I + A)$

Vanchinathan、Marfurt、Robelin、Kossman、およびKrause。膨大なデータから貴重品を発見。KDD2015。（doi、arXiv）

それが「最小相関」の妥当な尺度であると考える場合、それを最大化するポイントを反復的に選択するだけで、最適セットの係数内に収めることができます。これは、ブロックLU分解で効率的に実行できます。ここで、は、既に行列にあるエントリへの相関のベクトルです。$1-1/e$$v$

$$\begin{align*} \det \begin{bmatrix} I+A & v \\ v^T & 2 \end{bmatrix} &= \det \left( \begin{bmatrix} I & 0 \\ v^T (I+A)^{-1} & 1 \end{bmatrix} \begin{bmatrix} I+A & 0 \\ 0 & 2 - v^T (I+A)^{-1} v \end{bmatrix} \begin{bmatrix} I & (I+A)^{-1} v \\ 0 & 1 \end{bmatrix} \right) \\&= \det \begin{bmatrix} I & 0 \\ v^T (I+A)^{-1} & 1 \end{bmatrix} \det \begin{bmatrix} I+A & 0 \\ 0 & 2 - v^T (I+A)^{-1} v \end{bmatrix} \det \begin{bmatrix} I & (I+A)^{-1} v \\ 0 & 1 \end{bmatrix} \\&= (2 - v^T (I+A)^{-1} v) \det (I+A) \end{align*}$$

そしてもちろん、を計算する必要があります。ここで、はコレスキー分解であり、三角ソルバーを使用します。これは。したがって、相関行列がすでに計算されていると仮定すると、このプロセス全体で時間をかけて要素からを選択する必要があります。 。$v^T (I+A)^{-1} v = \lVert L^{-1} v \rVert^2$$L$$I + A$$O(n^2)$$O( \sum_{k=1}^n N k^2 + k^3) = O( N n^3 )$$n$$N$

「ペアワイズ相関のみを気にしている」という意味を完全に理解しているとは思いませんが、ここで役立つことがあります。相関行列の逆行列を使用します。用語に等しい、である X行列から構築されたここで、番目の列と行が削除されています。$A^{-1}_{ii}$$det(A_{0_i}) / det(A)$$A_{0_i}$$(n-1)$$(n-1)$$A$$i$

したがって、の最小対角係数のインデックスを取得すると、セットの残りの部分との相関が最も低いポイントがわかります。$A^{-1}$

実際に何をしたいかに応じて、反転の対角線上で10個の最低値を取得するか、最初の値を取得してから、ポイントを削除して反転を計算します。

これが必要なものでない場合でも、このトリックはまだ役立つかもしれませんが、方法はわかりません。

最小のペアワイズ相関を持つアイテムのを見つけます。たとえば、相関は2つの系列間の関係のを説明するため、ターゲット アイテムの相関の二乗の合計を最小化するほうが理にかなっています。これが私の簡単な解決策です。$k$$n$$0.6$$0.36$$k$

相関の行列を相関の二乗の行列に書き換えます。各列の二乗を合計します。合計が最大の列と対応する行を削除します。これで行列ができました。行列になるまで繰り返します。列と対応する行を最小の合計で保持することもできます。これらの方法を比較すると、および行列で、合計が近い2つの項目のみが異なって保持および削除されていることがわかりました。$n \times n$$(n−1)\times (n−1)$$k\times k$$k$$n=43$$k=20$