タグ付けされた質問 「linear-algebra」

この論文、（分散コンポーネントのベイズ推論はコントラストエラーのみ使用し、著者の主張、Harville、1974） は「よく知られている」関係」、線形回帰の場合 ここで Y = X β(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)ε 〜N（0 、H ）。y=Xβ+ϵ,y=Xβ+ϵ,y=X\beta+\epsilon,ϵ∼N(0,H).ϵ∼N(0,H).\epsilon\sim\mathcal{N}(0, H). これはどのように有名ですか？これを証明する最も簡単な方法は何ですか？

9 regression  regression-coefficients  heteroscedasticity  bias  linear-algebra 

仮説は、平均中心のデータの行列です。行列S = cov （A）はm × mで、m個の異なる固有値と、直交する固有ベクトルs 1、s 2 ... s mを持っています。AA\mathbf AS=cov(A)S=cov(A)\mathbf S=\text{cov}(\mathbf A)m×mm×mm\times mmmms1s1\mathbf s_1s2s2\mathbf s_2smsm\mathbf s_m 番目の主成分は、（何人かの人々は「スコア」と呼ん）ベクターであり 、Z iは = A S Iを。言い換えると、これはAの列の線形結合であり、係数はSの i番目の固有ベクトルの成分です。iiizi=Asizi=Asi\mathbf z_i = \mathbf A\mathbf s_iAA\mathbf AiiiSS\mathbf S とz jがすべてのi ≠ jに対して無相関であることが判明する理由がわかりません。s iとs jが直交しているという事実から来ていますか？確かにそうではありません。なぜなら、B xとB yが相関するような行列Bと1組の直交ベクトルx、yを簡単に見つけることができるからです。zizi\mathbf z_izjzj\mathbf z_ji≠ji≠ji\neq jsisi\mathbf s_isjsj\mathbf s_jBB\mathbf Bx,yx,y\mathbf x, \mathbf yBxBx\mathbf …

9 correlation  pca  linear-algebra 

4つの可能なイベントの頻度の1つのサンプルがあるとします。 Event1 - 5 E2 - 1 E3 - 0 E4 - 12 そして、私は自分のイベントの発生が予想される確率を持っています： p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 4つのイベントの観測頻度の合計（18）を使用して、イベントの予想頻度を計算できますか？ expectedE1 - 18 * 0.2 = 3.6 expectedE2 - 18 * 0.1 = 1.8 expectedE1 - 18 * 0.1 = 1.8 expectedE1 - …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

しましょう K=(K11K21K12K22)K=(K11K12K21K22)K=\begin{pmatrix} K_{11} & K_{12}\\ K_{21} & K_{22} \end{pmatrix} 対称の正の半定実行列（PSD）である。次に、、K12=KT21K12=K21TK_{12}=K_{21}^T|r|≤1|r|≤1|r| \le 1 K∗=(K11rK21rK12K22)K∗=(K11rK12rK21K22)K^*=\begin{pmatrix} K_{11} & rK_{12}\\ rK_{21} & K_{22} \end{pmatrix} PSD行列でもあります。行列およびはあり、は転置行列を示します。これをどのように証明しますか？KKKK∗K∗K^*2×22×22 \times 2KT21K21TK_{21}^T

9 matrix  linear-algebra 

非常に多くのリファレンス（ウィキペディア、およびhttp://www.atmos.washington.edu/~dennis/MatrixCalculus.pdfおよびhttp://michael.orlitzky.com/articles/the_derivative_of_a_quadratic_form.phpを含む）は、行に配置された関数の偏導関数としてのベクトルによる関数（したがって、スカラー値関数の導関数は行ベクトルです）。この規則では、勾配とベクトル導関数は互いに転置されます。この規則の利点は、導関数の意味を各方向の線形変化率を示す関数として解釈できることです。勾配はベクトルのままで、最大の変化率の方向と大きさを示します。 最近、Gentleの行列代数（http://books.google.com/books/about/Matrix_Algebra.html?id=Pbz3D7Tg5eoC）を読みましたが、彼は別の規約を使用しているようです。列の配置（スカラー値関数の導関数は列ベクトルです）。この配置の結果として、すべての微分結果は、他の規則の結果の転置になります。この規則の利点は、ここで推測しているように、勾配と導関数が等しいことです。したがって、最適化タスクの場合、微分してから転置する代わりに、微分することができます。 緊張はヤコビアンと勾配の間にあると思います。行の規則では、ヤコビ行列は導関数の定義から直接従いますが、勾配を取得するには転置を適用する必要があります。一方、列の規則では、勾配は転置する必要がない勾配ですが、ヤコビアンを取得するには転置を適用する必要があります。したがって、導関数の結果を線形マップと見なしたい場合は、最初の規則が理にかなっています。結果をベクトル/方向と見なしたい場合は、2番目の規則が理にかなっています。だからあなたは一貫している必要があります。 これらの規則のうち、機械学習でより一般的に使用されるものはどれですか？「間違った」コンベンションで仕事を読むのに時間をかけすぎると、どうしようもなく混乱するでしょうか。

9 linear-algebra  derivative 

数式をマトリックス形式に変換するのは初めてです。しかし、これは効率的な機械学習コードに必要です。だから私は「正しい」方法を理解したいのですが、私がするカウボーイのものではありません。 さて、これで、重み付き二乗和を以下の形式から行列形式に変換しようとしています。私はよくマトリックス形式を以下のものと同等であると見なし、それがどのように導出されるかについての説明はありません。 J（w ）= ∑i = 1メートルあなた私（wTバツ私− y私）2J(w)=∑i=1mui(wTxi−yi)2J(w)=\sum_{i=1}^m u_i (w^T x_i - y_i)^2 ここで、は各サンプル誤差重みです。また、、、、、。は、重みベクトルに特徴ベクトルを乗算した結果である予測値です。I X 、I ∈ R N W ∈ R N Y ∈ R U I ∈ R iは= 1 、。。。、m w T x iあなた私uiu_i私i_iバツ私∈ Rんxi∈Rnx_i \in \mathbb{R^n}W ∈ Rんw∈Rnw \in \mathbb{R^n}y∈ Ry∈Ry \in \mathbb{R}あなた私∈ Rui∈Ru_i \in \mathbb{R}私は= …

8 regression  machine-learning  linear-algebra 

逆共分散行列のスパース条件は、実際の共分散行列にどのように影響しますか？

8 mathematical-statistics  covariance-matrix  linear-algebra 

Hendersonは、最良の線形不偏予測子（BLUP）のコンテキストで、混合モデル方程式を指定しました（Henderson（1950）：Estimation of Genetic Parameters。Annals of Mathematical Statistics、21、309-310を参照）。次の混合効果モデルを想定します。 y=Xβ+Zu+ey=Xβ+Zu+ey = X\beta+Zu+e ここで、、ベクトルnは観察の確率変数であるのベクトルであり固定効果、および既知の行列であり、及びのベクトル再およびようにランダム効果とおよびyyyββ\betapppXXXZZZuuueeeqqqnnnE(u)=0E(u)=0E(u) = 0E(e)=0E(e)=0E(e) = 0 Va r [あなたe] = [G00R]σ2Var[ue]=[G00R]σ2 Var \begin{bmatrix} u \\ e \\ \end{bmatrix} = \begin{bmatrix} G & 0 \\ 0 & R \\ \end{bmatrix}\sigma^2 ここで、とは既知の正定行列であり、は正の定数です。GGGRRRσ2σ2\sigma^2 ヘンダーソン（1950）によれば、BLUPはの推定値の及びの方程式の以下の系の解として定義されます。β^β^\hat {\beta}ββ\betaあなた^u^\hat {u}あなたuu X′R−1Xβ^+X′R−1Zu^=X′R−1yX′R−1Xβ^+X′R−1Zu^=X′R−1yX'R^{-1}X\hat {\beta}+X'R^{-1}Z\hat {u} = X'R^{-1}y Z′R−1Xβ^+(Z′R−1Z+G−1)u^=Z′R−1yZ′R−1Xβ^+(Z′R−1Z+G−1)u^=Z′R−1yZ'R^{-1}X\hat {\beta}+(Z'R^{-1}Z + …

8 mixed-model  matrix  linear-algebra 

これが線形方程式問題の解法であることを知っています。 しかし、私の質問は、なぜ観測数が予測子数よりも少ないことが問題なのか、どうしてそのようなことが起こり得るのでしょうか。 データ収集は、彼らが少なくともこのことについて考えている範囲で、繊細な調査計画または実験計画から来ていませんか？ データ収集で45の変数を収集して調査を行う場合、なぜ彼は45未満の観測値を収集するのでしょうか。私は何かを見逃しましたか？モデル選択部分は応答の非改善変数も排除しましたが、収集された変数は常に排除されますか？ 45−(45−p)45−(45−p)45-(45-p) それでは、なぜそのような場合に非固有のソリューションに直面するのでしょうか。

7 dimensionality-reduction  linear  matrix  linear-algebra  regression-strategies 

スプライン回帰では、基底展開がランク不足の設計行列を作成することは珍しくありませんが、推定手順のペナルティ化が問題を解決することはよく知られています。ペナルティがが正定であることを示す方法を私は知りません。（私はPD行列が可逆であることを知っています。）Bn×pBn×pB_{n\times p}BTB+λΩBTB+λΩB^TB+\lambda\Omega ステージを設定するには、を探しためのf（x）が基準拡張によって与えられるF（X_I）= \ sum_j \ alpha_j h_j（X_I ）。Bで基底ベクトルを収集すると、この最適化が次のように減少することをかなり簡単に示すことができますminα∈Rp∑i||yi−f(xi)||2+λ∫ba[f′′(t)]2dtminα∈Rp∑i||yi−f(xi)||2+λ∫ab[f″(t)]2dt\min_{\alpha\in\mathbb{R}^p} \sum_i|| y_i-f(x_i)||^2+\lambda\int_a^b [f''(t)]^2dt f(x)f(x)f(x)f(xi)=∑jαjhj(xi)f(xi)=∑jαjhj(xi)f(x_i)=\sum_j\alpha_j h_j(x_i)BBB α^=(BTB+λΩ)−1BTy.α^=(BTB+λΩ)−1BTy. \hat{\alpha}=(B^TB+\lambda\Omega)^{-1}B^Ty. ここで、Ωij=∫bah′′j(t)h′′i(t)dtΩij=∫abhj′′(t)hi′′(t)dt\Omega_{ij}=\int_a^b h_j^{\prime\prime}(t) h_i^{\prime\prime}(t)dtです。 ここに私の推論があります。p> nであるため、BBBはランクが不足していることがわかります。これは、B ^ TBもランクが低いことを意味します。また、少なくとも1つの固有値が0で、正の半定値であることを示すこともできます。p>np>np>nBTBBTBB^TB しかし、\ Omegaについて推論する方法がわからない、ΩΩ\OmegaまたはBTB+λΩBTB+λΩB^TB+\lambda\Omegaが\ lambda> 0の PDであることを示すことができないので、今は行き詰まっていますλ>0λ>0\lambda>0。私はΩΩ\Omegaがグラム行列であることを知っていますが、ΩΩ\OmegaがPSD であることを示す場合にのみ、私たちを取得します。

7 self-study  linear-algebra  splines