タグ付けされた質問 「correlation-matrix」

特定のデータ行列（列に変数があり、行にデータポイントがある）について、が統計において重要な役割を果たすようです。たとえば、それは通常の最小二乗法の分析解の重要な部分です。または、PCAの場合、その固有ベクトルはデータの主成分です。AAAATAATAA^TA 計算方法は理解していますが、このマトリックスが表すものの直感的な解釈があり、それがその重要な役割につながるかどうか疑問に思っていましたか？ATAATAA^TA

107 matrix  covariance-matrix  correlation-matrix 

正半値（PSD）相関行列を効率的に生成できるようにしたいと思います。生成する行列のサイズを大きくすると、私の方法は劇的に遅くなります。 効率的なソリューションを提案できますか？Matlabの例を知っているなら、私はとてもありがたいです。 PSD相関行列を生成するとき、生成される行列を記述するパラメータをどのように選択しますか？平均相関、相関の標準偏差、固有値？

38 random-generation  correlation-matrix 

私は、相関行列または共分散行列の正の半正特性の意味を研究しています。 私は上の情報を探しています 正の半正定性の定義; その重要な特性、実用的な意味; 負の決定要因を持つことの結果、多変量解析やシミュレーション結果への影響など。

34 covariance-matrix  eigenvalues  determinant  correlation-matrix 

x、y、zの 3つのランダム変数がありますx 、y、zx,y,zx,y,z。3つの変数間の3つの相関は同じです。あれは、 ρ = cor（x 、y）= cor（x 、z）= cor（y、z）ρ=cor(x,y)=cor(x,z)=cor(y,z)\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z) \ rhoに与えることができる最も厳しい限界は何ρρ\rhoですか？

28 correlation  correlation-matrix 

適度に強い相関が存在するように、n × nサイズのランダム相関行列を生成したいと思います。CC\mathbf Cn×nn×nn \times n サイズの正方実対称行列、たとえばn = 100 ;n×nn×nn \times nn=100n=100n=100 正定、つまり、すべての固有値が実数で正数の場合。 フルランク; すべての対角要素が等しい。111 非対角要素がなければならない合理的に均一に分布する。正確な分布は重要ではありませんが、適度に大きな値（たとえば、絶対値が0.5以上）をある程度適度に大きく（たとえば10 ％）したいと思います。基本的に、すべての非対角要素≈0でCがほぼ対角線上にないことを確認したいと思います。(−1,1)(−1,1)(-1, 1)10%10%10\%0.50.50.5CC\mathbf C≈0≈0\approx 0 簡単な方法はありますか？ 目的は、このようなランダム行列を使用して、相関（または共分散）行列を処理するアルゴリズムのベンチマークを行うことです。 動作しないメソッド 私が知っているランダム相関行列を生成するいくつかの方法を以下に示しますが、ここではうまくいきません。 s × nサイズのランダムなを生成し、中心化し、標準化して、相関行列C = 1を形成します。XX\mathbf Xs×ns×ns \times n。s>nの場合、これにより、通常、すべての非対角相関が0付近になります。もしS«nは、いくつかの相関が強くなりますが、Cはフルランクではありません。C=1s−1X⊤XC=1s−1X⊤X\mathbf C=\frac{1}{s-1}\mathbf X^\top \mathbf Xs>ns>ns>n000s≪ns≪ns\ll nCC\mathbf C 次のいずれかの方法で、ランダムな正定行列を生成します。BB\mathbf B ランダム平方生成対称正定作るB = A Aを ⊤。AA\mathbf AB=AA⊤B=AA⊤\mathbf B = \mathbf A …

25 random-generation  covariance-matrix  correlation-matrix 

質問： 大きな相関行列があります。個々の相関をクラスタリングする代わりに、相互の相関に基づいて変数をクラスタリングします。つまり、変数Aと変数Bが変数C〜Zと同様の相関を持っている場合、AとBは同じクラスターの一部である必要があります。これの良い実例は、さまざまな資産クラスです。資産内クラス相関は、資産間クラス相関よりも高くなっています。 また、変数AとBの相関が0に近い場合、それらは多かれ少なかれ独立して作用するなど、変数間の厳密な関係の観点から変数をクラスタリングすることも検討しています。根本的な条件が突然変化し、強い相関（正または負）が発生した場合、これら2つの変数は同じクラスターに属していると考えることができます。したがって、正の相関関係を探すのではなく、関係と関係なしを探します。類推は、正と負に帯電した粒子のクラスターになり得ると思います。電荷が0になると、粒子はクラスターから離れます。ただし、正電荷と負電荷の両方が粒子を魅力的なクラスターに引き付けます。 これのいくつかがあまり明確でない場合、私は謝罪します。特定の詳細を明確にします。

23 correlation  clustering  correlation-matrix 

私はインタビューでこの質問をされました。 我々は、フォームの相関行列を持っていると言うことができます ⎡⎣⎢10.60.80.61γ0.8γ1⎤⎦⎥[10.60.80.61γ0.8γ1]\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix} この相関行列から、ガンマの値を見つけるように求められました。 固有値はすべて0以上である必要があるため、固有値を使用して何かを実行できると考えました（行列は半正定でなければなりません）-しかし、このアプローチでは答えが得られないと思います。トリックがありません。 同じ問題を解決するためのヒントを教えてください。

20 pearson-r  correlation-matrix 

平均=、分散=、相関係数=相関ランダムシーケンスを生成しようとしています。以下のコードでは、標準偏差として＆を使用し、平均として＆を使用しています。1 0.80001110.80.80.8s1s2m1m2 p = 0.8 u = randn(1, n) v = randn(1, n) x = s1 * u + m1 y = s2 * (p * u + sqrt(1 - p^2) * v) + m2 これによりcorrcoef()、xとの間の0.8が正確になりyます。私が欲しい場合、私は、一連の手段を生成することができますどのように私の質問はzそれがまたと相関しているy（同じ相関でr=0.8r=0.8r=0.8）ではなく、とx。知っておく必要がある特定の式はありますか？私が見つかりました。一つが、それを理解できませんでした。

19 correlation  matlab  random-generation  correlation-matrix 

3つのベクトル、、および与えられ場合、と、と、およびと間相関がすべて負になる可能性はありますか？すなわち、これは可能ですか？b c a b a c b caaabbbcccaaabbbaaacccbbbccc corr(a,b)&lt;0corr(a,c)&lt;0corr(b,c)&lt;0corr(a,b)&lt;0corr(a,c)&lt;0corr(b,c)&lt;0\begin{align} \text{corr}(a,b) < 0\\ \text{corr}(a,c) < 0 \\ \text{corr}(b,c) < 0\\ \end{align}

16 correlation  correlation-matrix 

2500の変数と142の観測値のような巨大なデータセットがあります。 変数Xと残りの変数の間の相関関係を実行したいと思います。しかし、多くの列では、エントリが不足しています。 「ペアワイズ完全」引数（use=pairwise.complete.obs）を使用してRでこれを実行しようとすると、一連の相関が出力されました。しかし、StackOverflowの誰かがこの記事http://bwlewis.github.io/covar/missing.htmlへのリンクを投稿したため、Rの「pairwise-complete」メソッドが使用できなくなっています。 私の質問：「ペアワイズコンプリート」オプションを使用するのが適切な場合はどうすればわかりますか？ 私がuse = complete.obs戻ってきたno complete element pairsので、それが何を意味するのかを説明できれば、それは素晴らしいことです。

12 r  correlation  missing-data  correlation-matrix 

非対角要素の分布がほぼ通常のように見えるように、ランダム相関行列を生成したいと思います。どうすればできますか？ 動機はこれです。時系列データのセットの、相関分布は通常、非常によく似ています。多くの「通常の」相関行列を生成して、一般的な状況を表し、それらを使用してリスク数を計算したいと思います。nnn 私は1つの方法を知っていますが、結果として得られる（非対角要素の分布の）標準偏差が小さすぎます。行列均一または通常のランダムな行を生成し、行を標準化します（平均を減算します。標準偏差で除算）、サンプル相関行列は通常、対角線上にないエントリを配布します[ コメントの後に更新：標準偏差は ]。X 1nnnXX\mathbf X〜N-1/21n−1XX⊤1n−1XX⊤\frac{1}{n-1}\mathbf X \mathbf X^\top∼n−1/2∼n−1/2\sim n^{-1/2} 標準偏差を制御できるより良い方法を誰かが提案できますか？

11 normal-distribution  random-generation  correlation-matrix 

ここでピアソン相関の行列について話しています。 私は、すべての相関行列は正の半正定行列でなければならないと言っていることをよく耳にします。私の理解では、正定行列はより大きい固有値でなければならず、正半定行列は固有値なければなりません。これは私の質問を「相関行列が固有値を持つことは可能ですか？」と言い換えることができると思います。≥ 0 = 0&gt; 0&gt;0> 0≥ 0≥0\ge 0= 0=0= 0 （欠損データのない経験的データから生成された）相関行列が固有値、または固有値ですか？代わりに人口相関行列である場合はどうなりますか？&lt; 0= 0=0= 0&lt; 0&lt;0< 0 私は一番上の答えで読ん共分散行列については、この質問へのこと 、、 3つの変数を考えます。が正ではないベクトル（）があるため、それらの共分散行列は正定ではありません。Y Z = X + Y MをZ = （1 、1 、- 1 ）' Z ' M ZバツXXYYYZ=X+YZ=X+YZ = X+YMMMzzz=(1,1,−1)′=(1,1,−1)′= (1, 1, -1)'z′Mzz′Mzz'Mz ただし、共分散行列の代わりに相関行列でこれらの計算を行うと、は正の値になります。したがって、相関行列と共分散行列では状況が異なると思います。z′Mzz′Mzz'Mz 私が尋ねる理由は、私がそこで尋ねた質問に関して、stackoverflowで尋ねられたからです。

11 covariance-matrix  eigenvalues  correlation-matrix 

事前に指定されたスパース構造（ノードのグラフで指定）を使用して相関行列（対称psd）を生成しようとしています。グラフで接続されているノードには相関関係、残りはすべて0、対角線はすべて1です。p×pp×pp\times ppppρ∼U(0,1)ρ∼U(0,1)\rho \sim U(0,1) この行列を何度か生成しようとしましたが、有効な相関行列が得られることはまれです。 相関行列whpを保証する方法はありますか？私は正の相関しか持つことができないので、などはオプションではないことに注意してください。ρ∼U(−1,1)ρ∼U(−1,1)\rho \sim U(-1,1) どんな助けでも大歓迎です！

9 correlation  matrix  sparse  correlation-matrix 

数年前にVBとT-SQLで共分散行列と相関行列、およびそれらの逆行列を計算する方法を学びながら、さまざまなエントリに、適切なデータマイニングシナリオで役立つような興味深いプロパティがあることを知りました。1つの明白な例は、共分散行列の対角線上の分散の存在です。私がまだ使用していないが、ある時点で役立つ可能性のあるいくつかのそれほど明白ではない例は、逆相関行列の分散インフレ係数と逆共分散行列の部分相関です。 ただし、文献で直接取り上げられていないのは、これらの行列の行列式を解釈する方法です。行列式は他の種類の行列に対しても頻繁に計算されるため、行列に関する多くの情報が見つかると予想していましたが、StackExchangeフォーラムと他のインターネットの両方のカジュアルな検索ではほとんど結果を出せませんでした。私が遭遇したほとんどの言及は、主成分分析（PCA）やホテリングの検定など、他の統計検定やアルゴリズムを計算するプロセスの単一ステップとして行列式を使用することに関係しています。単独でこれらの決定要因を解釈する方法に直接対処するものはありません。それらがデータマイニングに関する文献で頻繁に議論されない実際的な理由はありますか？さらに重要なことには、それらは、スタンドアロンの方法で有用な情報を提供しますか？その場合、それぞれの決定要因をどのように解釈できますか？私は行列式が線形変換によって誘発される符号付きボリュームの一種であることを理解しているので、これらの特定の行列式の行列式は、セット全体にわたる共分散や相関などのある種の体積測定を意味するのではないかと疑います（ 2つの属性または変数間の通常の共分散および相関とは対照的に）。それはまた、それらの逆がどのようなボリュームを表すかという疑問を投げかけます。私はこのトピックや、さらに推測するのに必要な重い行列の計算についてはあまり詳しくありませんが、4種類すべての行列とその行列式をコーディングすることができます。私の質問は迫っていません、しかし、長期的には、これらのマトリックスとその決定要因を探索的データマイニングプロセスに定期的に含めることの価値があるかどうかを判断する必要があります。これらの特定の言語では、1対1の2変量の方法で共分散と相関を計算する方が安くなりますが、費用を正当化するより深い洞察を導き出すことができれば、余計なことをせずに行列式計算を実装します。プログラミングリソース。前もって感謝します。プログラミングリソースの観点から費用を正当化するより深い洞察を引き出すことができる場合は、さらに一歩進んで行列式計算を実装します。前もって感謝します。プログラミングリソースの観点から費用を正当化するより深い洞察を引き出すことができる場合は、さらに一歩進んで行列式計算を実装します。前もって感謝します。

9 self-study  covariance  covariance-matrix  correlation-matrix  determinant 

私は2つの相関行列とを持っています（Matlabのcorrcoef（）によるピアソンの線形相関係数を使用）。と比較して含まれる「より多くの相関」の量を定量化したいと思います。そのための標準的なメトリックまたはテストはありますか？B A BあAABBBあAABBB たとえば、相関行列 「より多くの相関」を含む 私はボックスのM検定を知っています。これは、2つ以上の共分散行列が等しいかどうかを決定するために使用されます（相関行列は標準化された確率変数の共分散行列と同じであるため、相関行列にも使用できます）。 現在、非対角要素の絶対値の平均を介してとを比較しています。つまり、。（この式では、相関行列の対称性を使用しています）。いくつかのより巧妙なメトリックスがあるかもしれないと思います。B 2あAABBB2ん2− nΣ1 ≤ I &lt; J ≤ n個| バツ私、j|2ん2−んΣ1≤私&lt;j≤ん|バツ私、j|\frac{2}{n^2-n}\sum_{1 \leq i < j \leq n } \left | x_{i, j} \right | アンディWの行列式に関するコメントに続いて、メトリックを比較する実験を行いました。 非対角要素の絶対値の平均：メトリック平均（）メトリック平均（）\text{metric}_\text{mean}() 行列式：：メトリック行列式（）メトリック行列式（）\text{metric}_\text{determinant}() ましょうとの次元の対角線上のものと2つのランダム対称行列を。上三角（対角線を除く） 0から1までのランダムなフロートが取り込まれの上三角（対角線を除く） 0から0.9までのランダムなフロートが取り込まれています。私はそのような行列を10000生成し、いくつかのカウントを行います：B 10 × 10 A BああABBB10 × 1010×1010 \times 10ああABBB メトリック平均（B ）≤ メトリック平均（A ）メトリック平均（B）≤メトリック平均（あ）\text{metric}_\text{mean}(B) \leq \text{metric}_\text{mean}(A) …

9 correlation  matlab  correlation-matrix