タグ付けされた質問 「matrix」

主成分分析（PCA）は通常、共分散行列の固有分解によって説明されます。ただし、データ行列特異値分解（SVD）を介して実行することもできます。どのように機能しますか？これら2つのアプローチの関係は何ですか？SVDとPCAの関係は何ですか？XX\mathbf X または、言い換えると、データ行列のSVDを使用して次元削減を実行する方法ですか？

352 pca  dimensionality-reduction  matrix  svd 

最近、多くの人々が多くの方法（テンソル因数分解、テンソルカーネル、トピックモデリングのテンソルなど）のテンソル等価物を開発していることに気付きました。なぜ世界は突然テンソルに魅了されるのでしょうか。これをもたらした特に驚くべき最近の論文/標準結果はありますか？以前に疑われていたよりも計算上はるかに安価ですか？ 私はglibではありません、私は心から興味があり、これに関する論文へのポインタがあれば、私はそれらを読みたいです。

171 machine-learning  references  matrix  linear-algebra  tensor 

特定のデータ行列（列に変数があり、行にデータポイントがある）について、が統計において重要な役割を果たすようです。たとえば、それは通常の最小二乗法の分析解の重要な部分です。または、PCAの場合、その固有ベクトルはデータの主成分です。AAAATAATAA^TA 計算方法は理解していますが、このマトリックスが表すものの直感的な解釈があり、それがその重要な役割につながるかどうか疑問に思っていましたか？ATAATAA^TA

107 matrix  covariance-matrix  correlation-matrix 

シミュレーション研究のために、既存の変数に対する事前定義された（母集団）相関を示すランダム変数を生成する必要があります。YYY 私は、に見えたRパッケージcopulaとCDVine特定の依存構造を持つランダムな多変量分布を生成することができました。ただし、結果の変数の1つを既存の変数に修正することはできません。 アイデアや既存の機能へのリンクを歓迎します！ 結論： さまざまなソリューションで、2つの有効な答えが出ました。 カラカルによるR スクリプト。事前定義された変数との正確な（サンプル）相関を持つランダム変数を計算します 事前定義された変数に対する定義された母集団相関を持つランダム変数を計算するR 関数 [@ttnphnsの追加：質問のタイトルを単一の固定変数の場合から任意の数の固定変数に拡大するために自由を取りました。すなわち、いくつかの固定された既存の変数と事前定義された相関を持つ変数を生成する方法]

71 r  correlation  random-variable  random-generation  independence  assumptions  random-variable  unbiased-estimator  regression  hypothesis-testing  heteroscedasticity  generalized-least-squares  distributions  networks  data-visualization  sas  reproducible-research  philosophical  time-series  variance  outliers  quality-control  mean  multilevel-analysis  average  weighted-mean  regression  confidence-interval  prediction-interval  correlation  matlab  matrix  data-mining  maximum-likelihood  r  time-series  survival  predictive-models 

私はさまざまな行列（主にロジスティック回帰）でいくつかの計算を行っていますが、一般的に「行列は特異です」というエラーが表示されます。ここでの私の質問は、「高度な」相関行列とは何だと思いますか？この単語を表す相関のしきい値はありますか？変数が別の変数と相関している0.97のように、これは行列を特異にするのに十分な「高」ですか？ 質問が非常に基本的なものである場合、おthisび申し上げますが、この問題について言及している参考資料を見つけることができませんでした（参考資料へのヒントは大きなプラスになります！）。

66 regression  correlation  matrix  multicollinearity  singular 

私はRで少し働いていて、PCA、SVD、QR分解、および多くのそのような線形代数結果（重み付き回帰などの推定を検査するとき）のようなものに直面しているので、誰かが良いものに関する推奨事項を持っているかどうかを知りたい理論的ではないが数学的に厳密であり、これらのトピックすべてを網羅した包括的な線形代数の本。

54 references  matrix  linear-algebra  weighted-regression 

特異値分解（SVD）について読みました。ほとんどすべての教科書では、指定された仕様で行列を3つの行列に分解することが言及されています。 しかし、そのような形式でマトリックスを分割する背後にある直観は何ですか？次元削減のためのPCAおよびその他のアルゴリズムは、アルゴリズムに優れた視覚化特性があるという意味で直感的ですが、SVDではそうではありません。

50 matrix  linear-algebra  svd  intuition 

答えはイエスだと思いますが、それでも何か間違っていると感じています。文献にはいくつかの一般的な結果があるはずですが、誰か助けてもらえますか？

48 covariance  matrix  covariance-matrix  linear-algebra 

の性質に興味があります。「がデータについて何と言っているか」について、誰でも直観的に話せますか？Σ−1Σ−1\Sigma^{-1}Σ−1Σ−1\Sigma^{-1} 編集： 返信ありがとう いくつかの素晴らしいコースを受講した後、いくつかのポイントを追加したいと思います。 つまり、は方向沿った情報量です。xTΣ−1xxTΣ−1xx^T\Sigma^{-1}xxxx 双対性：のでそうである、正定である、我々は正則化最小二乗問題のためFenchelデュアルを導き出すことができるように、彼らはドット積規範ですので、より正確に、彼らはお互いのデュアル規範あり、二重問題の最大化を行います。条件に応じて、どちらかを選択できます。ΣΣ\SigmaΣ−1Σ−1\Sigma^{-1} ヒルベルト空間：と列（および行）は同じ空間にます。したがって、または表現の間に利点はありません（これらの行列のいずれかが悪条件の場合）Σ−1Σ−1\Sigma^{-1}ΣΣ\SigmaΣ−1Σ−1\Sigma^{-1}ΣΣ\Sigma ベイジアン統計：ノルムは、ベイジアン統計で重要な役割を果たします。それは我々が前に持っているどのくらいの情報決定すなわち、例えば、前の密度の共分散が似ているとき 我々は（前またはおそらくジェフリーズ）非有益持っていますΣ−1Σ−1\Sigma^{-1}∥Σ−1∥→0‖Σ−1‖→0\|\Sigma^{-1}\|\rightarrow 0 頻度統計： Cramér–Raoバウンドを使用して、フィッシャー情報と密接に関連しています。実際、フィッシャー情報マトリックス（対数尤度とそれ自体の勾配の外積）は、Cramér–Raoによってバインドされています。つまり、Σ−1⪯FΣ−1⪯F\Sigma^{-1}\preceq \mathcal{F}（wrt正半正円錐、iewrt濃度）楕円体）。したがって、Σ−1=FΣ−1=F\Sigma^{-1}=\mathcal{F}の場合、最尤推定量は効率的です。つまり、データに最大の情報が存在するため、頻度主義体制が最適です。簡単な言葉で言えば、いくつかの尤度関数（尤度の関数形式は、データを生成する推定モデル、別名生成モデルに純粋に依存することに注意）の場合、最尤法は効率的で一貫した推定量であり、ボスのようなルールです。（それをやりすぎて申し訳ありません）

46 bayesian  maximum-likelihood  covariance  matrix 

多変量正規密度があるとします。二次（部分）微分wrtを取得したい。行列の微分をどのように取るかわからない。N（μ 、Σ ）N(μ,Σ)N(\mu, \Sigma)μμ\mu ウィキによると、マトリックス内の要素ごとに派生要素を取得します。 ラプラス近似で作業してい モードはです。θ = μログPN（θ ）= logPN− 12（θ − θ^）TΣ− 1（θ − θ^）。log⁡PN(θ)=log⁡PN−12(θ−θ^)TΣ−1(θ−θ^).\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.θ^= μθ^=μ\hat\theta=\mu Iは、与えられたこれどのようにして生じたのですか？Σ− 1= - ∂2∂θ2ログp （θ^| y）、Σ−1=−∂2∂θ2log⁡p(θ^|y),{\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y), 私がしたこと： ログP（θ | y）= − k2ログ2個のπ− 12ログ| Σ | − 12（θ − θ^）TΣ− 1（θ − θ^）log⁡P(θ|y)=−k2log⁡2π−12log⁡|Σ|−12(θ−θ^)TΣ−1(θ−θ^)\log P(\theta|y) = -\frac{k}{2} …

35 self-study  normal-distribution  matrix 

いくつかの凸最適化を実験していたときに、奇妙な質問を受けました。質問は： ランダム（標準正規分布など）で対称マトリックスを生成するとします（たとえば、上三角マトリックスを生成し、下半分を埋めて対称であることを確認します）。これは正定マトリックスである可能性があります？とにかく確率を計算する方法はありますか？N× NN×NN \times N

32 probability  matrix  random-generation  eigenvalues  random-matrix 

閉まっている。この質問はトピック外です。現在、回答を受け付けていません。 この質問を改善したいですか？ 質問を更新して、相互検証のトピックになるようにします。 6年前に閉鎖されました。 Rの行列の列ごとの正規化を実行したいと思います。行列が与えられた場合m、各要素を列の合計で除算して各列を正規化します。これを行う1つの（ハック的な）方法は次のとおりです。 m / t(replicate(nrow(m), colSums(m))) 同じタスクを達成するためのより簡潔/エレガント/効率的な方法はありますか？

25 r  data-transformation  normalization  matrix 

Math SEでこの質問を参照してください。 ショートストーリー：私が読んで統計的学習の要素を与えられた、と私は結果のいくつかを検証しようとしていた時にイライラしてしまった、例えば その後、 RSS(β)=(y−Xβ)T(y−Xβ),RSS(β)=(y−Xβ)T(y−Xβ),\text{RSS}(\beta) = \left(\mathbf{y}-\mathbf{X}\beta\right)^{T}\left(\mathbf{y}-\mathbf{X}\beta\right)\text{,} 私はあなたの伝統的な微積分の本のように書かれた行列微積分の本を探しています（すなわち、定理の証明、例、計算の演習など）。私はすでにこの質問を見て、マグナスとノイデッカーのテキストは理論に焦点を合わせすぎていると感じています。そして、ジェントルのテキストは理論にあまりにも焦点を当てておらず、計算側に過度に焦点を当てています。∂RSS∂β=−2XT(y−Xβ)∂2RSS∂β ∂βT=2XTX.∂RSS∂β=−2XT(y−Xβ)∂2RSS∂β ∂βT=2XTX.\begin{align}&\dfrac{\partial\text{RSS}}{\partial \beta} = -2\mathbf{X}^{T}\left(\mathbf{y}-\mathbf{X}\beta\right) \\ &\dfrac{\partial^2\text{RSS}}{\partial \beta\text{ }\partial \beta^{T}} = 2\mathbf{X}^{T}\mathbf{X}\text{.} \end{align} 学部分析のバックグラウンドを持つ人がアクセスできる幸せな媒体はありますか？

20 references  matrix  matrix-calculus 

n行m列の行列がある場合、SVDまたは他の方法を使用して、指定された行列の低ランク近似を計算できます。 ただし、低ランクの近似には、n行とm列が引き続きあります。同じ数の機能が残っている場合、低ランクの近似は機械学習と自然言語処理にどのように役立ちますか？

20 r  matrix  approximation 

行列の「列数」を示す単一の英語の単語はありますか？ たとえば、行列の「次元」はです。この例では用語が必要です。もちろん、「列の数」と言うことはいつでもできますが、一言でもいいですか。2 × 32×32\times 32 × 32×32\times 3333

18 terminology  matrix