タグ付けされた質問 「discriminant-analysis」

私は、線形判別分析とロジスティック回帰の統計的な違いに頭を悩ませようとしています。2クラス分類問題の場合、LDAは交差する線形境界を作成する2つの標準密度関数（各クラスに1つ）を予測しますが、ロジスティック回帰は2つのクラス間の対数奇数関数のみを予測することを理解しています境界を作成しますが、各クラスの密度関数を想定していませんか？

36 regression  logistic  classification  discriminant-analysis 

私はscikit-learn次元削減のために機械学習ライブラリ（Python）の線形判別分析（LDA）を使用していましたが、結果に少し興味がありました。私は今、LDAが何をしているのか疑問に思っていscikit-learnます。その結果、例えば、手動でのアプローチやRで行われたLDAとは異なった結果になります。 基本的に最も懸念さscikit-plotれるのは、相関0があるはずの2つの変数間の相関を示すことです。 テストでは、Irisデータセットを使用し、最初の2つの線形判別式は次のようになりました。 IMG-1 scikit-learn経由のLDA これは、私がscikit-learn ドキュメントで見つけた結果と基本的に一致しています。 今、私はLDAを段階的に通り抜けて、異なる予測を得ました。何が起こっているのかを知るために、さまざまなアプローチを試しました。 IMG-2。生データのLDA（センタリングなし、標準化なし） そして、最初にデータを標準化（zスコア正規化;単位分散）した場合のステップバイステップのアプローチになります。同じことを平均中心化のみで行いました。これにより、同じ相対投影画像が得られるはずです（実際にそうなりました）。 IMG-3。平均中心化または標準化後の段階的なLDA IMG-4。RのLDA（デフォルト設定） IMG-3のLDAは、データを中央に配置したため（推奨されるアプローチ）、RでLDAを実行した誰かが投稿で見つけたものとまったく同じに見えます。 参照用コード すべてのコードをここに貼り付けたくはありませんでしたが、LDAプロジェクションで使用したいくつかのステップ（以下を参照）に分けてIPythonノートブックとしてアップロードしました。 ステップ1：d次元平均ベクトルの計算m私= 1n私∑X ∈ D私nバツkm私=1n私∑バツ∈D私nバツk\mathbf m_i = \frac{1}{n_i} \sum\limits_{\mathbf x \in D_i}^n \; \mathbf x_k ステップ2：散布図の計算 2.1クラス内散布行列は、次の方程式によって計算されますS W = C Σ I = 1、S I = C Σ I = 1 N Σのx ∈ D I（X …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd 

誰もが違いを説明し、これらの3つの分析を使用する方法を特定の例を与えることができますか？ LDA-線形判別分析 FDA-フィッシャーの判別分析 QDA-二次判別分析 私はどこでも検索しましたが、実際の値のない実際の例を見つけることはできませんでした。これらの分析がどのように使用され、計算されるかを確認できませんでした。私が理解しようとしたとき、どの方程式/式がLDAに属し、どの方程式/ FDAに属するかを区別するのは困難でした。 たとえば、そのようなデータがあるとしましょう： x1 x2 class 1 2 a 1 3 a 2 3 a 3 3 a 1 0 b 2 1 b 2 2 b そして、いくつかのテストデータを考えてみましょう： x1 x2 2 4 3 5 3 6 では、これら3つのアプローチすべてでこのようなデータを使用する方法は？背後ですべてを計算する数学パッケージを使用するのではなく、すべてを手動で計算する方法を確認することをお勧めします。 ：PS私はこのチュートリアル見つけhttp://people.revoledu.com/kardi/tutorial/LDA/LDA.html#LDAを。LDAの使用方法を示します。

26 classification  discriminant-analysis 

PCA、LDA、CCA、およびPLSはどのように関連していますか？それらはすべて「スペクトル」および線形代数であり、非常によく理解されているように見えます（たとえば、50年以上の理論が構築されています）。それらは非常に異なることに使用されます（次元削減のためのPCA、分類のためのLDA、回帰のためのPLS）にもかかわらず、それらは非常に密接に関連していると感じています。

26 pca  discriminant-analysis  partial-least-squares  canonical-correlation 

たとえば、ベイズ分類器を介して、教師付き統計分類タスク用のデータセットがあるとします。このデータセットは20個のフィーチャで構成されており、主成分分析（PCA）や線形判別分析（LDA）などの次元削減手法を使用して2つのフィーチャに要約します。 どちらの手法も、データをより小さな特徴部分空間に投影しています。PCAでは、データセットの分散を最大化する方向（コンポーネント）を見つけ（クラスラベルを考慮せず）、LDAでは、 -クラス分離。 今、私はこれらの技術を組み合わせることができるのか、どのように、そしてなぜできるのか、それが理にかなっているのか疑問に思っています。 例えば： PCAを介してデータセットを変換し、それを新しい2Dサブスペースに投影する LDAを介した（既にPCA変換済みの）データセットの変換 クラス内の分離 または PCAステップをスキップし、LDAの上位2つのコンポーネントを使用します。 または意味のある他の組み合わせ。

25 classification  pca  regularization  discriminant-analysis  overfitting 

回帰分析と線形判別分析（LDA）の間に関係はありますか？それらの類似点と相違点は何ですか？2つのクラスがある場合、または3つ以上のクラスがある場合、違いはありますか？

24 regression  logistic  discriminant-analysis  canonical-correlation  reduced-rank-regression 

この記事 では、著者は線形判別分析（LDA）を主成分分析（PCA）にリンクします。私の知識が限られているため、LDAがPCAといくぶん類似していることを理解することはできません。 LDAは、ロジスティック回帰と同様の分類アルゴリズムの一種であると常に考えてきました。LDAがPCAにどのように似ているか、つまり、次元削減手法であるLDAがどのように理解されているかを理解する上で、私はいくらか感謝します。

19 classification  pca  dimensionality-reduction  discriminant-analysis  canonical-correlation 

The Statistics Learning of Elementsの決定境界を持つLDA（線形判別分析）プロットを見ました。 データは低次元の部分空間に投影されることを理解しています。ただし、元の次元で決定境界を取得する方法を知りたいので、決定境界を低次元のサブスペースに投影できます（上の画像の黒い線のように）。 元の（より高い）次元の決定境界を計算するために使用できる式はありますか？はいの場合、この式にはどのような入力が必要ですか？

19 r  references  discriminant-analysis 

いくつかの場所で、MANOVAはANOVAと線形判別分析（LDA）に似ているが、常に手を振るような方法で作成されたという主張を見ました。正確に何を意味するのか知りたいです。 MANOVA計算のすべての詳細を説明するさまざまな教科書を見つけましたが、統計学者ではない人がアクセスできる適切な一般的な議論（写真は言うまでもありません）を見つけるのは非常に難しいようです。

18 anova  discriminant-analysis  manova 

91ページの「統計学習の要素」には次のような言葉があります。 p次元入力空間のK重心は最大でK-1次元の部分空間にまたがり、pがKよりもはるかに大きい場合、これは次元の大幅な低下になります。 2つの質問があります。 なぜp次元入力空間のK重心が最大K-1次元の部分空間にまたがるのですか？ K重心はどのように配置されますか？ この本には説明がなく、関連する論文から答えが見つかりませんでした。

18 machine-learning  discriminant-analysis 

8クラスのデータでマルチクラスLDA分類器をトレーニングしています。 トレーニングを行っている間、私は警告が出ます：「変数が同一直線上にあります」 私は取得しています訓練オーバーの精度90％ 。 Pythonでscikits-learnライブラリを使用して、マルチクラスデータのトレーニングとテストを行っています。 私はまともなテスト精度も得ています（約85％-95％）。 エラー/警告の意味がわかりません。私を助けてください。

16 machine-learning  classification  python  scikit-learn  discriminant-analysis 

判別分析の長所をいくつか見つけましたが、それらについて質問があります。そう： クラスが十分に分離されている場合、ロジスティック回帰のパラメーター推定値は驚くほど不安定です。係数は無限大になる可能性があります。LDAはこの問題の影響を受けません。 特徴の数が少なく、予測子分布が 各クラスでほぼ正規の場合、線形判別モデルはロジスティック回帰モデルよりも安定しています。XXX 安定性とは何ですか、なぜそれが重要なのですか？（ロジスティック回帰がその仕事に適している場合、なぜ安定性を気にする必要があるのですか？） LDAは、データの低次元ビューも提供するため、3つ以上の応答クラスがある場合に人気があります。 私はそれを理解していません。LDAは低次元ビューをどのように提供しますか？ もっと長所や短所を挙げられるなら、それはいいことです。

16 regression  logistic  multivariate-analysis  discriminant-analysis 

ではR、ldaライブラリの関数を使用MASSして分類を行います。LDAを理解すると、入力xxxはラベルyyyが割り当てられ、p(y|x)p(y|x)p(y|x)が最大化されますよね？ 私はモデルを適合場合には、ここでx=(Lag1,Lag2)x=(Lag1,Lag2)x=(Lag1,Lag2)y=Direction,y=Direction,y=Direction,私はかなりの出力を理解していませんlda、 編集：以下の出力を再現するには、最初に実行します： library(MASS) library(ISLR) train = subset(Smarket, Year < 2005) lda.fit = lda(Direction ~ Lag1 + Lag2, data = train) > lda.fit Call: lda(Direction ~ Lag1 + Lag2, data = train) Prior probabilities of groups: Down Up 0.491984 0.508016 Group means: Lag1 Lag2 Down 0.04279022 0.03389409 Up -0.03954635 -0.03132544 …

16 r  discriminant-analysis  inference 

判別分析では、従属変数はカテゴリー変数ですが、線形判別分析で独立変数として他のいくつかの連続変数と共にカテゴリー変数（たとえば、住宅地：農村、都市）を使用できますか？

15 logistic  categorical-data  discriminant-analysis  regression-strategies 

私はPCAとLDAの手法をいじっていましたが、ある時点で立ち往生しています。私はそれを見ることができないほど単純だと感じています。 クラス内（）およびクラス間（S B）の散布行列は、次のように定義されます。SWSWS_WSBSBS_B SW=∑i=1C∑t=1N(xit−μi)(xit−μi)TSW=∑i=1C∑t=1N(xti−μi)(xti−μi)T S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T SB=∑i=1CN(μi−μ)(μi−μ)TSB=∑i=1CN(μi−μ)(μi−μ)T S_B = \sum_{i=1}^CN(\mu_i-\mu)(\mu_i-\mu)^T 総散乱行列は次のように与えられます。STSTS_T ST=∑i=1C∑t=1N(xit−μ)(xit−μ)T=SW+SBST=∑i=1C∑t=1N(xti−μ)(xti−μ)T=SW+SB S_T = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T = S_W + S_B Cは、クラスの数であり、Nはサンプル数であり、サンプルでμ iは i番目のクラスの平均であり、μは全体平均です。xxxμiμi\mu_iμμ\mu を導き出そうとしている間に、私は次のようになりました。STSTS_T (x−μi)(μi−μ)T+(μi−μ)(x−μi)T(x−μi)(μi−μ)T+(μi−μ)(x−μi)T (x-\mu_i)(\mu_i-\mu)^T + (\mu_i-\mu)(x-\mu_i)^T 用語として。これはゼロにする必要がありますが、なぜですか？ 確かに： ST=∑i=1C∑t=1N(xit−μ)(xit−μ)T=∑i=1C∑t=1N(xit−μi+μi−μ)(xit−μi+μi−μ)T=SW+SB+∑i=1C∑t=1N[(xit−μi)(μi−μ)T+(μi−μ)(xit−μi)T]ST=∑i=1C∑t=1N(xti−μ)(xti−μ)T=∑i=1C∑t=1N(xti−μi+μi−μ)(xti−μi+μi−μ)T=SW+SB+∑i=1C∑t=1N[(xti−μi)(μi−μ)T+(μi−μ)(xti−μi)T]\begin{align} S_T &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T \\ &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - …

14 discriminant-analysis