タグ付けされた質問 「eigenvalues」

今日のパターン認識クラスでは、私の教授がPCA、固有ベクトル、固有値について話しました。 私はそれの数学を理解しました。固有値などを見つけるように求められたら、機械のように正しく行います。しかし、私はそれを理解しませんでした。目的がわからなかった。私はそれを感じませんでした。 私は次の引用を強く信じています： あなたはそれをあなたの祖母に説明できない限り、あなたは本当に何かを理解していません。 - アルバート・アインシュタイン まあ、私はこれらの概念を素人やおばあちゃんに説明することはできません。 なぜPCA、固有ベクトル、固有値なのか？これらの概念の必要性は何ですか？ これらを素人にどのように説明しますか？

976 pca  intuition  eigenvalues  canonical-question 

私は、相関行列または共分散行列の正の半正特性の意味を研究しています。 私は上の情報を探しています 正の半正定性の定義; その重要な特性、実用的な意味; 負の決定要因を持つことの結果、多変量解析やシミュレーション結果への影響など。

34 covariance-matrix  eigenvalues  determinant  correlation-matrix 

いくつかの凸最適化を実験していたときに、奇妙な質問を受けました。質問は： ランダム（標準正規分布など）で対称マトリックスを生成するとします（たとえば、上三角マトリックスを生成し、下半分を埋めて対称であることを確認します）。これは正定マトリックスである可能性があります？とにかく確率を計算する方法はありますか？N× NN×NN \times N

32 probability  matrix  random-generation  eigenvalues  random-matrix 

データのセンタリング（または軽for）はPCAに対してどのような違いがありますか？数学が簡単になる、または最初のPCが変数の手段に支配されるのを防ぐと聞いたことがありますが、まだ概念をしっかりと把握できていないように感じます。 たとえば、ここで一番の答えは、どのようにデータをセンタリングすることで、回帰とPCAのインターセプトを取り除きますか？センタリングしないと、点群の主軸ではなく、原点を介して最初のPCAがどのように引き出されるかを説明します。PCが共分散行列の固有ベクトルからどのように取得されるかについての私の理解に基づいて、私はこれがなぜ起こるのか理解できません。 さらに、センタリングがある場合とない場合の私自身の計算はほとんど意味がないようです。 irisR のデータセットのsetosa花について考えます。サンプルの共分散行列の固有ベクトルと固有値を次のように計算しました。 data(iris) df <- iris[iris$Species=='setosa',1:4] e <- eigen(cov(df)) > e $values [1] 0.236455690 0.036918732 0.026796399 0.009033261 $vectors [,1] [,2] [,3] [,4] [1,] -0.66907840 0.5978840 0.4399628 -0.03607712 [2,] -0.73414783 -0.6206734 -0.2746075 -0.01955027 [3,] -0.09654390 0.4900556 -0.8324495 -0.23990129 [4,] -0.06356359 0.1309379 -0.1950675 0.96992969 最初にデータセットを中央に配置すると、まったく同じ結果が得られます。センタリングは共分散行列をまったく変更しないため、これは非常に明白なようです。 df.centered <- scale(df,scale=F,center=T) e.centered<- …

30 r  pca  svd  eigenvalues  centering 

Andrew NgのCourseraコースのPCAと他の資料を勉強しています。スタンフォードNLPコースcs224nの最初の課題、およびAndrew Ngの講義ビデオでは、共分散行列の固有ベクトル分解の代わりに特異値分解を行い、NgはSVDが固有分解よりも数値的に安定しているとさえ述べています。 私の理解では、PCAの場合、(m,n)サイズの共分散行列ではなく、サイズのデータ行列のSVDを行う必要があり(n,n)ます。そして、共分散行列の固有ベクトル分解。 なぜデータ行列ではなく共分散行列のSVDを行うのですか？

29 pca  linear-algebra  svd  eigenvalues  numerics 

PCAでは、次元数がサンプル数よりも大きい（または等しい）場合、最大で非ゼロの固有ベクトルを持つことになります。つまり、次元間の共分散行列のランクはです。dddNNNN− 1N−1N-1d≥ Nd≥Nd\ge NN− 1N−1N-1 例：サンプルはベクトル化された画像で、寸法はですが、画像しかありません。d= 640 × 480 = 307200d=640×480=307200d = 640\times480 = 307\,200N= 10N=10N=10

22 pca  dimensionality-reduction  eigenvalues 

共分散行列の固有ベクトルを見ると、最大分散の方向を取得します（最初の固有ベクトルは、データが最も大きく変化する方向などです）。これは、主成分分析（PCA）と呼ばれます。 相互情報行列の固有ベクトル/値を見るとどういう意味になるのだろうか、最大エントロピーの方向を指すのだろうか？

14 pca  entropy  mutual-information  eigenvalues 

私の質問は、geoR:::.negloglik.GRFまたはで悪用された計算技術に関するものgeoR:::solve.geoRです。 線形混合モデルのセットアップ： ここで、とはそれぞれ固定効果とランダム効果です。また、β B Σ = COV （Y ）Y=Xβ+Zb+eY=バツβ+Zb+e Y=X\beta+Zb+e ββ\betabbbΣ=cov(Y)Σ=cov（Y）\Sigma=\text{cov}(Y) 影響を推定する場合、計算する必要がある 通常のようなものを使用して行うことができ、時にははほとんど可逆的ではないので、トリックを使用してください（X ' Σ - 1 X ）(X′Σ−1X)−1X′Σ−1Y(X′Σ−1X)−1X′Σ−1Y (X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1} Y solve(XtS_invX,XtS_invY)(X′Σ−1X)(X′Σ−1X)(X'\Sigma^{-1}X)geoR t.ei=eigen(XtS_invX) crossprod(t(t.ei$vec)/sqrt(t.ei$val))%*%XtS_invY （に見られるgeoR:::.negloglik.GRFとgeoR:::.solve.geoR）分解に達した したがって (X′Σ−1X)=ΛDΛ−1(X′Σ−1X)=ΛDΛ−1 (X'\Sigma^{-1}X)=\Lambda D \Lambda^{-1}\\ Λ′=Λ−1Λ′=Λ−1\Lambda'=\Lambda^{-1}(X′Σ−1X)−1=(D−1/2Λ−1)′(D−1/2Λ−1)(X′Σ−1X)−1=(D−1/2Λ−1)′(D−1/2Λ−1) (X'\Sigma^{-1}X)^{-1}=(D^{-1/2}\Lambda^{-1})'(D^{-1/2}\Lambda^{-1}) 2つの質問： この固有分解は反転にどのように役立ちますか？(X′Σ−1X)(X′Σ−1X)(X'\Sigma^{-1}X) 他の実行可能な代替手段（堅牢で安定したもの）はありますか？（例：qr.solveまたはchol2inv）

13 r  eigenvalues  matrix-decomposition  matrix-inverse  cholesky 

スパース/ギャップのあるデータセットに基づいて共分散行列を分解しようとしています。で計算されたラムダ（説明された分散）の合計がsvd、ますますギャップのあるデータで増幅されていることに気付きました。隙間なく、svdかつeigen同じ結果をyeild。 これはeigen分解では発生しないようです。svdラムダ値は常に正であるため、私は使用に傾いていましたが、この傾向は心配です。適用する必要がある何らかの修正がありますか、またはsvdこのような問題を完全に回避する必要がありますか？ ###Make complete and gappy data set set.seed(1) x <- 1:100 y <- 1:100 grd <- expand.grid(x=x, y=y) #complete data z <- matrix(runif(dim(grd)[1]), length(x), length(y)) image(x,y,z, col=rainbow(100)) #gappy data zg <- replace(z, sample(seq(z), length(z)*0.5), NaN) image(x,y,zg, col=rainbow(100)) ###Covariance matrix decomposition #complete data C <- cov(z, use="pair") E <- eigen(C) …

12 r  svd  eigenvalues 

ここでピアソン相関の行列について話しています。 私は、すべての相関行列は正の半正定行列でなければならないと言っていることをよく耳にします。私の理解では、正定行列はより大きい固有値でなければならず、正半定行列は固有値なければなりません。これは私の質問を「相関行列が固有値を持つことは可能ですか？」と言い換えることができると思います。≥ 0 = 0&gt; 0&gt;0> 0≥ 0≥0\ge 0= 0=0= 0 （欠損データのない経験的データから生成された）相関行列が固有値、または固有値ですか？代わりに人口相関行列である場合はどうなりますか？&lt; 0= 0=0= 0&lt; 0&lt;0< 0 私は一番上の答えで読ん共分散行列については、この質問へのこと 、、 3つの変数を考えます。が正ではないベクトル（）があるため、それらの共分散行列は正定ではありません。Y Z = X + Y MをZ = （1 、1 、- 1 ）' Z ' M ZバツXXYYYZ=X+YZ=X+YZ = X+YMMMzzz=(1,1,−1)′=(1,1,−1)′= (1, 1, -1)'z′Mzz′Mzz'Mz ただし、共分散行列の代わりに相関行列でこれらの計算を行うと、は正の値になります。したがって、相関行列と共分散行列では状況が異なると思います。z′Mzz′Mzz'Mz 私が尋ねる理由は、私がそこで尋ねた質問に関して、stackoverflowで尋ねられたからです。

11 covariance-matrix  eigenvalues  correlation-matrix 

多くの統計教科書は、共分散行列の固有ベクトルが何であるかを直感的に説明しています。 ベクトルuとzは固有ベクトル（まあ、固有軸）を形成します。意味あり。しかし、混乱するのは、生データではなく相関行列から固有ベクトルを抽出することです。さらに、まったく異なる生データセットは、同一の相関行列を持つことができます。たとえば、次の両方には次の相関行列があります。 [ 10.970.971][10.970.971]\left[\begin{array}{} 1 & 0.97 \\ 0.97 &1\end{array}\right] そのため、同じ方向を指す固有ベクトルがあります。 [ .71.71− .71.71][.71−.71.71.71]\left[\begin{array}{} .71 & -.71 \\ .71 & .71\end{array}\right] しかし、固有ベクトルが生データのどの方向であるかについて同じ視覚的解釈を適用すると、異なる方向を指すベクトルが得られます。 誰かが私がどこが間違っているのか教えてもらえますか？ 二番目の編集：私が大胆であるかもしれないなら、以下の優れた答えで私は混乱を理解し、それを説明することができました。 視覚的説明は、共分散行列から抽出された固有ベクトルが異なるという事実と一致しています。 共分散と固有ベクトル（赤）： [ 1111] [ .7.72− .72。7][1111][。7−.72.72。7]\left[\begin{array}{} 1 & 1 \\ 1 & 1\end{array}\right] \left[\begin{array}{} .7 & -.72 \\ .72 & .7\end{array}\right] 共分散と固有ベクトル（青）： [ .25.5.51] [ …

10 correlation  pca  covariance-matrix  eigenvalues 

私はMRIデータのMatlab分析を行っています。ここで、10304x236のサイズのマトリックスでPCAを実行しました。ここで、10304はボクセルの数（ピクセルと考える）、236はタイムポイントの数です。PCAは、236の固有値とそれらに関連する係数をくれます。これで結構です。ただし、保持するコンポーネントの数を決定するときになると、私が複製している紙は次のように述べています（これは紙全体のほんの一部にすぎないため、説明が必要な場合はお知らせください）： 次に、モンテカルロシミュレーションを実行して、各スキャンの迷惑ROIデータから抽出する主成分（PC）の数を決定しました。予測固有値のnull分布は、エンコードと残りの迷惑ROIデータと等しいランクの正規分布データに対してPCAを実行することにより、各被験者のエンコードと残りのデータに対して個別に生成されました。関連付けられた固有値がモンテカルロシミュレーションの固有値の99番目の信頼区間を超えた場合、真の迷惑ROIデータからのPCが、指定されたレストスキャンまたはエンコーディングスキャン用に選択されました。 Tambini＆Davachi、PNAS 2013、海馬のマルチボクセルパターンのエンコード後の残りへの持続性は記憶に関連しています。 ここで何をすればいいのか全く分かりません。説明された累積分散に基づいてコンポーネントを選択することに慣れています。私の考えはこれですが： 次に、モンテカルロシミュレーションを実行して、各スキャンの迷惑ROIデータから抽出する主成分（PC）の数を決定しました。 モンテカルロシムズは、次の1000回（またはそのような）回を行うことを意味するだけですよね？ 期待される固有値のヌル分布は、エンコーディングおよびレストニュイサンスROIデータと等しいランクの正規分布データに対してPCAを実行することによって生成されました。 まず、「等しいランク」は基本的に元のサイズと同じサイズ（10304x236）のマトリックスを作成することを意味すると想定しています。「等ランクの正規分布データ」に関して...これは、正規分布から乱数の10304x236行列を作成する必要があることを意味しますか？Matlabにはこれを行う 'normrnd'と呼ばれる関数がありますが、muおよびsigma入力が必要です。最初のデータセットから導出されたものと同じミューとシグマを使用しますか？EXPECTED固有値の分布がどのようになるかわからないので、これは多かれ少なかれ「期待される固有値」が意味するものです。 私の問題は多かれ少なかれ、固有値の「ヌル分布」を作成する方法がわからないことだと思います。

10 pca  eigenvalues  neuroimaging 

Christopher Bishopは彼の著書「パターン認識と機械学習」に、以前に選択されたコンポーネントに対して直交空間にデータが投影された後、連続する各主成分が1次元への投影の分散を最大化するという証明を書いています。他は同様の証明を示します。 ただし、これは、分散を最大化することに関して、連続する各コンポーネントが1つの次元への最良の投影であることを証明するだけです。なぜこれが意味するのか、最初にそのようなコンポーネントを選択すると、5次元と言う投影の分散が最大化されますか？

10 machine-learning  variance  pca  dimensionality-reduction  eigenvalues 

場合観測データの行列であり、Yは、次に潜在変数でありますバツXXYYY バツ= WY+ μ + εX=WY+μ+ϵX=WY+\mu+\epsilon ここで、は観測されたデータの平均であり、ϵはデータのガウス誤差/ノイズであり、Wは主部分空間と呼ばれます。μμ\muεϵ\epsilonWWW 私の質問は、通常のPCAが使用されると、以下が真である正規直交固有ベクトルセットを取得することです。EEE Y= EバツY=EXY=EX しかし、PPCAでは、は正規直交でも固有ベクトルでもありません。では、Wから主成分を取得するにはどうすればよいですか？WWWWWW 本能に従って、MATLABでppcaを検索しました。この行に出くわしました。 収束時、Wの列は部分空間に広がりますが、それらは正規直交ではありません。ppcaは、Wの直交化によって成分の正規直交係数coeffを取得します。 Wを取得するためにppcaコードを少し変更して実行し、直交化した後、WからPを取得しました。 なぜこの直交化によって固有ベクトルが得られ、それに沿ってほとんどの分散が見られるのでしょうか？ 私は、直交化によって主部分空間にまたがる一連の直交/正規直交ベクトルが得られると仮定していますが、この直交化された結果の行列がeigenmatrixに等しいのはなぜですか（pcaの固有行列も正規直交であることを知っています）？主部分空間が正規直交ベクトルの一意のセットによってのみスパンされると仮定できますか？その場合、両方の結果は常に一致します。

10 machine-learning  pca  latent-variable  eigenvalues 

私は手でSVDを実行しようとしています： m&lt;-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3) U=eigen(m%*%t(m))$vector V=eigen(t(m)%*%m)$vector D=sqrt(diag(eigen(m%*%t(m))$values)) U1=svd(m)$u V1=svd(m)$v D1=diag(svd(m)$d) U1%*%D1%*%t(V1) U%*%D%*%t(V) しかし、最後の行は戻りませんm。どうして？それはこれらの固有ベクトルの兆候と関係があるようです...または手順を誤解しましたか？

9 r  svd  eigenvalues