タグ付けされた質問 「partial-least-squares」

SVDとPCAを理解している人のために、部分最小二乗回帰（オンラインで入手可能）の背後にある理論の説明をお勧めできますか？私は多くのソースをオンラインで見てきましたが、厳密さとアクセシビリティの適切な組み合わせを備えたものは見つかりませんでした。 統計的学習の要素を調べました。これは、相互検証、QLS（部分最小二乗法）回帰とは何か、OLSとはどう違うのかという質問に対するコメントで提案されました。、しかし、私はこの参照がトピックの正義を行うとは思わない（そうするのは簡単すぎて、主題に関する多くの理論を提供しない）。私が読んだから、PLS、予測変数の線形結合を利用その最大化共分散制約を受けるとz_i ^ Tz_j = 0であれば、私\ NEQ j、ここで\ varphi_iz私= Xφ私zi=Xφiz_i=X \varphi_iyTz私yTzi y^Tz_i Z T I Z 、J = 0 、I ≠ jは、φ I∥はφ私∥ = 1‖φi‖=1\|\varphi_i\|=1zT私zj= 0ziTzj=0z_i^Tz_j=0i ≠ ji≠ji \neq jφ私φi\varphi_i共分散を最大化する順序で繰り返し選択されます。しかし、私が読んだ後でも、それが本当かどうか、もしそうなら、メソッドがどのように実行されるかはまだわかりません。

33 regression  references  regularization  svd  partial-least-squares 

PCA、LDA、CCA、およびPLSはどのように関連していますか？それらはすべて「スペクトル」および線形代数であり、非常によく理解されているように見えます（たとえば、50年以上の理論が構築されています）。それらは非常に異なることに使用されます（次元削減のためのPCA、分類のためのLDA、回帰のためのPLS）にもかかわらず、それらは非常に密接に関連していると感じています。

26 pca  discriminant-analysis  partial-least-squares  canonical-correlation 

に単位平方和（同等に、単位分散）が必要な追加の制約を使用したリッジ回帰を検討してください。必要に応じて、は単位平方和もあると想定できます。 Yy^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. \ lambda \ to \ inftyの場合、\ hat {\ boldsymbol \ beta} _ \ lambda ^ *の制限は何ですか？β^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^*λ→∞λ→∞\lambda\to\infty 以下は、私が真実だと信じている声明です。 \ lambda = 0の場合λ=0λ=0\lambda=0、きちんとした明示的な解決策があります。OLS推定器を取るβ^0=(X⊤X)−1X⊤yβ^0=(X⊤X)−1X⊤y\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf yおよび制約を満たすように正規化します（ラグランジュ乗数を追加して微分することでこれを見ることができます）： β^∗0=β^0/∥Xβ^0∥.β^0∗=β^0/‖Xβ^0‖.\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|. …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

部分最小二乗回帰（PLSR）または部分最小二乗構造方程式モデリング（PLS-SEM）では、「部分」という用語は何を指しますか？

16 multiple-regression  least-squares  terminology  sem  partial-least-squares 

ランクの低下回帰と主成分回帰は、部分最小二乗の特別な場合にすぎませんか？ このチュートリアル（6ページの「目的の比較」）では、XまたはYを投影せずに部分最小二乗（つまり「部分的ではない」）を行うと、ランク回帰または主成分回帰に対応するようになると述べています。 このSASドキュメントページのセクション「ランクの回帰の削減」および「メソッド間の関係」で同様の記述が行われています。 より基本的なフォローアップの質問は、それらが同様の基礎となる確率モデルを持っているかどうかです。

16 regression  pca  dimensionality-reduction  partial-least-squares  reduced-rank-regression 

私はのために行くかどうかを確認しようとしているリッジ回帰、LASSO、主成分回帰（PCR）、または部分最小二乗変数/機能（の数が多い状況で（PLS））およびサンプルの数が少ない（N < p）、私の目的は予測です。pppn<pn<pn np>10np>10np>10n 変数（およびY）は、異なる程度で互いに相関しています。XXXYYY 私の質問は、この状況に最適な戦略はどれですか？どうして？

15 regression  pca  lasso  ridge-regression  partial-least-squares 

PLS回帰の仮定に関する情報（単一）を見つけようとしています。特に、OLS回帰の前提に関するPLSの前提の比較に興味があります。 yyy PLSのトピックに関する多くの文献を読んだり、読み飛ばしたりしました。Wold（Svante and Herman）、Abdi、および他の多くの論文ですが、満足できる情報源は見つかりませんでした。 ウォルド等。（2001）PLS回帰：ケモメトリックスの基本ツールはPLSの仮定に言及していますが、それだけに言及しています Xは独立している必要はありませんが、 システムは、いくつかの潜在的な潜在変数の関数です。 システムは分析プロセス全体で均一性を示す必要があります。 測定誤差は許容範囲です。 バツバツX 観測されたデータの要件やモデルの残差に関する言及はありません。誰もがこれに対処するソースを知っていますか？（と間の共分散を最大化する目的で）基礎となる数学がPCAに類似していると考えると、多変量正規性は仮定ですか？モデルの残差は分散の均一性を示す必要がありますか？yyyバツバツX（ y、 X）（y、バツ）(y, X) また、観測は独立している必要はないことをどこかで読んだと思います。これは、反復測定研究の意味で何を意味しますか？

13 regression  assumptions  partial-least-squares 

私は部分最小二乗（PLS）が非常に新しくplsr()、plsパッケージ内のR関数の出力を理解しようとしています。データをシミュレートしてPLSを実行します。 library(pls) n <- 50 x1 <- rnorm(n); xx1 <- scale(x1) x2 <- rnorm(n); xx2 <- scale(x2) y <- x1 + x2 + rnorm(n,0,0.1); yy <- scale(y) p <- plsr(yy ~ xx1+xx2, ncomp=1) 私は次の数字と期待していましたaaabbb > ( w <- loading.weights(p) ) Loadings: Comp 1 xx1 0.723 xx2 0.690 Comp 1 SS …

12 r  regression  partial-least-squares 

主成分分析（PCA）を実行するときに行う一般的なことの1つは、2つの負荷を互いにプロットして、変数間の関係を調べることです。主成分回帰とPLS回帰を行うためのPLS Rパッケージに付属するペーパーには、相関負荷プロットと呼ばれる別のプロットがあります（ペーパーの図7および15ページを参照）。相関負荷は、それが説明するように、（PCAからまたはPLS）スコアとの相関関係と実際の観測データです。 ローディングと相関ローディングは、スケーリングが少し異なることを除いて、かなり似ているように思えます。組み込みのデータセットmtcarsを使用したRでの再現可能な例は次のとおりです。 data(mtcars) pca <- prcomp(mtcars, center=TRUE, scale=TRUE) #loading plot plot(pca$rotation[,1], pca$rotation[,2], xlim=c(-1,1), ylim=c(-1,1), main='Loadings for PC1 vs. PC2') #correlation loading plot correlationloadings <- cor(mtcars, pca$x) plot(correlationloadings[,1], correlationloadings[,2], xlim=c(-1,1), ylim=c(-1,1), main='Correlation Loadings for PC1 vs. PC2') これらのプロットの解釈の違いは何ですか？そして、（もしあれば）実際に使用するのに最適なプロットはどれですか？

11 r  pca  terminology  partial-least-squares  biplot 

この質問はここで行われましたが、誰も良い答えを出しませんでした。ですから、もう一度提示するのは良い考えだと思います。また、コメントや質問をさらに追加したいと思います。 最初の質問は、「PLSパスモデリング」と「PLS回帰」の違いは何ですか？より一般的に言えば、構造方程式モデリング（SEM）、パスモデリング、回帰とは何ですか？私の理解では、回帰は予測に重点を置いていますが、SEMは応答と予測子の関係に重点を置いており、パスモデリングはSEMの特別なケースですか？ 2つ目の質問は、PLSはどの程度信頼できるかということです。最近、Rönkköet al。で強調されたように、多くの批判の対象となっています。2016およびRönkköet al。2015のような高ティア誌にPLSに基づいて論文の拒否にどのリード運用管理のジャーナル（ここでは雑誌編集者からの注記があります）： PLSは例外なく、OM研究者が使用するモデルの種類におけるモデリングアプローチが間違っていると結論付けたため、実質的にすべてのPLSベースの原稿を拒否しています。 私の分野は分光学であり、管理/心理学や統計学ではありません。上記でリンクされた論文では、著者はSEM法としてのPLSについてより多く話しているが、私には、彼らの批判はPLS回帰にも当てはまると思われる。

11 sem  partial-least-squares  path-model 

10個の変数で構成されるデータセットがあります。部分最小二乗（PLS）を実行して、これらの10個の変数によって単一の応答変数を予測し、10個のPLSコンポーネントを抽出して、各コンポーネントの分散を計算しました。元のデータでは、702であるすべての変数の分散の合計を取った。 次に、各PLSコンポーネントの分散をこの合計で割って、PLSで説明される分散のパーセンテージを得ました。驚くべきことに、すべてのコンポーネントを合わせると、元の分散の44％しか説明されません。 その説明は何ですか？100％じゃないですか？

10 regression  pca  covariance-matrix  partial-least-squares 

PLSの基礎となるモデルは、与えられた行列とベクトルがによって関連付けられることです ここで、は潜在的な行列、およびはノイズ項です（が中央にあると）。n×mn×mn \times mXXXnnnyyyX=TP′+E,X=TP′+E,X = T P' + E, y=Tq′+f,y=Tq′+f,y = T q' + f,TTTn×kn×kn \times kE,fE,fE, fX,yX,yX, y PLSの推定値生成、および回帰係数の'ショートカット'ベクター、ように。の分布をいくつかの単純化した仮定の下で見つけたいと思います。T,P,qT,P,qT, P, qβ^β^\hat{\beta}y∼Xβ^y∼Xβ^y \sim X \hat{\beta}β^β^\hat{\beta} モデルは正確です。つまり 、未知のに対してです。X=TP′+E,y=Tq′+fX=TP′+E,y=Tq′+fX = T P' + E,y = T q' + fT,P,qT,P,qT, P, q 潜在因子の数は既知であり、PLSアルゴリズムで使用されます。kkk 実際の誤差項は、既知の分散を持つiidゼロ平均正規です。 「the」PLSアルゴリズムには多数のバリアントがあるため、この質問はいくぶん過小評価されていますが、私はそれらの結果を受け入れます。私はまたの分布を推定する方法についての指導受け入れるだろうを経由して例えば Aのブートストラップを、おそらくそれは別の問題です。β^β^\hat{\beta}

10 regression  confidence-interval  latent-variable  partial-least-squares 

実験中に3回評価された10人の参加者の2つのグループがあります。グループ間および3つの評価全体の違いをテストするために、group（コントロール、実験）、time（最初、2、3）、およびを使用して2x3混合設計ANOVAを実行しましたgroup x time。両方timeとgroup有意な相互作用があったほか、重大な結果group x time。 グループメンバーシップに関しても、3回の評価の違いをさらにチェックする方法をよく知りません。実際、最初は、ANOVAのオプションで、ボンフェローニの補正を使用してすべての主要な効果を比較することだけを指定しました。しかし、この方法で、グループを区別せずに、サンプル全体の時間の違いをこのように比較したことに気付きましたね。 したがって、可能な解決策を見つけるためにインターネットでたくさん検索しましたが、結果はほとんどありませんでした。私と同じようなケースは2つしか見つかりませんでしたが、解決策は逆です！ 記事では、混合設計の後、著者らは被験者ごとに1つずつ、2回の反復測定ANOVAを事後的に実行しました。このようにして、2つのグループは修正なしで個別に分析されます。 インターネットのガイドでは、混合ANOVAの実行中に、SPSS構文のCOMPARE(time) ADJ(BONFERRONI)直後にを手動で追加すると述べています/EMMEANS=TABLES(newgroup*time)。このように、3つの時間はグループごとに個別に比較されます。ボンフェローニ補正を使用すると、私は正しいのでしょうか。 どう思いますか？どちらが正しい方法でしょうか？

8 anova  mixed-model  spss  post-hoc  bonferroni  time-series  unevenly-spaced-time-series  classification  normal-distribution  discriminant-analysis  probability  normal-distribution  estimation  sampling  classification  svm  terminology  pivot-table  random-generation  self-study  estimation  sampling  estimation  categorical-data  maximum-likelihood  excel  least-squares  instrumental-variables  2sls  total-least-squares  correlation  self-study  variance  unbiased-estimator  bayesian  mixed-model  ancova  statistical-significance  references  p-value  fishers-exact  probability  monte-carlo  particle-filter  logistic  predictive-models  modeling  interaction  survey  hypothesis-testing  multiple-regression  regression  variance  data-transformation  residuals  minitab  r  time-series  forecasting  arima  garch  correlation  estimation  least-squares  bias  pca  predictive-models  genetics  sem  partial-least-squares  nonparametric  ordinal-data  wilcoxon-mann-whitney  bonferroni  wilcoxon-signed-rank  traminer  regression  econometrics  standard-error  robust  misspecification  r  probability  logistic  generalized-linear-model  r-squared  effect-size  gee  ordered-logit  bayesian  classification  svm  kernel-trick  nonlinear  bayesian  pca  dimensionality-reduction  eigenvalues  probability  distributions  mathematical-statistics  estimation  nonparametric  kernel-smoothing  expected-value  filter  mse  time-series  correlation  data-visualization  clustering  estimation  predictive-models  recommender-system  sparse  hypothesis-testing  data-transformation  parametric  probability  summations  correlation  pearson-r  spearman-rho  bayesian  replicability  dimensionality-reduction  discriminant-analysis  outliers  weka 

この質問は、前の質問に続く議論の結果です。部分最小二乗、縮小ランク回帰、および主成分回帰の間の接続は何ですか？ 主成分分析の場合、一般的に使用される確率モデルはx=λ−−√wz+ϵ∈Rp,x=λwz+ϵ∈Rp,\mathbf x = \sqrt{\lambda} \mathbf{w} z + \boldsymbol \epsilon \in \mathbb R^p,、z∼N(0,1)z∼N(0,1)z\sim \mathcal N(0,1)、w∈Sp−1w∈Sp−1\mathbf{w}\in S^{p-1}、λ>0λ>0\lambda > 0、およびϵ∼N(0,Ip)ϵ∼N(0,Ip)\boldsymbol\epsilon \sim \mathcal N(0,\mathbf{I}_p)。次に、\ mathbf {x}の母共分散xx\mathbf{x}はλwwT+IpλwwT+Ip\lambda \mathbf{w}\mathbf{w}^T + \mathbf{I}_p、つまりx∼N(0,λwwT+Ip).x∼N(0,λwwT+Ip).\mathbf{x}\sim \mathcal N(0,\lambda \mathbf{w}\mathbf{w}^T + \mathbf{I}_p).目標は\ mathbf {w}を推定することですww\mathbf{w}。これはスパイク共分散モデルと呼ばれ、PCA文献で頻繁に使用されます。真の\ mathbf {w}を推定する問題は、単位球上の\ mathbf {w}より\ operatorname {Var}（\ mathbf {Xw}）をww\mathbf{w}最大化することで解決できます。Var(Xw)Var⁡(Xw)\operatorname{Var} (\mathbf{Xw})ww\mathbf{w} @amoebaによる前の質問への回答で指摘されているように、ランク回帰の減少、部分最小二乗法、および正準相関分析には、密接に関連した定式化があります。 PCA:RRR:PLS:CCA:Var(Xw),Var(Xw)⋅Corr2(Xw,Yv)⋅Var(Yv),Var(Xw)⋅Corr2(Xw,Yv)⋅Var(Yv)=Cov2(Xw,Yv),Var(Xw)⋅Corr2(Xw,Yv).PCA:Var⁡(Xw),RRR:Var⁡(Xw)⋅Corr2⁡(Xw,Yv)⋅Var⁡(Yv),PLS:Var⁡(Xw)⋅Corr2⁡(Xw,Yv)⋅Var⁡(Yv)=Cov2⁡(Xw,Yv),CCA:Var⁡(Xw)⋅Corr2⁡(Xw,Yv).\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}),\\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}),\\ …

7 pca  latent-variable  partial-least-squares  canonical-correlation  reduced-rank-regression