タグ付けされた質問 「discriminant-analysis」

15個のラベル付きサンプル（10グループ）で構成されるデータセットがあります。ラベルの知識を考慮して、次元削減を2つの次元に適用します。 PCAなどの「標準」の教師なし次元削減手法を使用する場合、散布図は既知のラベルとは関係がないようです。 私が探しているものには名前がありますか？ソリューションの参考文献をいくつか読みたいです。

13 machine-learning  pca  dimensionality-reduction  supervised-learning  discriminant-analysis 

私はPCAを使用して多変量データを診断するために頻繁に使用しました（数十万の変数と数十または数百のサンプルを含むオミックスデータ）。データは、いくつかのグループを定義するいくつかのカテゴリ独立変数を使用した実験から得られることが多く、対象のグループ間の分離を示すものを見つける前に、いくつかのコンポーネントをよく調べなければなりません。私はそのような差別的なコンポーネントを見つけるかなり原始的な方法を思いつきました、そして私は疑問に思います これが合理的/正当化できる範囲 同じことを達成するより良い方法があるかどうか。 これは探索的であることに注意してください。他の人を説得する前に、私は自分自身を説得したいと思います。関心のあるグループを明確に区別するコンポーネント（コントロールと治療など）があることがわかった場合、たとえそれらが応答の分散のわずかな部分を担っていたとしても、たとえば監視されたマシンからの結果よりもそれを信頼します学習。 これが私のアプローチです。Rのpca3dの「メタボ」サンプルデータセットを使用します。 アイデアは、各コンポーネントの分散が独立変数によってどの程度説明できるかを評価することです。このために、各コンポーネントの単純なモデルを計算し、R2R2R^2をメトリックとして使用して、コンポーネントを「最も興味深い」から「最も興味深い」の順に並べます。 require( pca3d ) # data on metabolic profiles of TB patients and controls data( metabo ) # first column is the independent variable pca <- prcomp( metabo[,-1], scale.= T ) # create a model for each component lm.m <- lm( pca$x ~ metabo[,1] ) …

13 pca  linear-model  r-squared  discriminant-analysis 

どうやら、 フィッシャー分析の目的は、クラス内の分散を最小限に抑えながら、クラス間の分離を同時に最大化することです。したがって、変数の識別力の有用な尺度は、対角量与えられます。Bii/WiiBii/WiiB_{ii}/W_{ii} http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html p x pBetween（B）およびWithin-Class（W）行列のサイズ（）は、入力変数の数で与えられることを理解していますp。これを考えると、単一変数の「識別力の有用な尺度」にするにはどうすればよいでしょうか。行列BとWを構築するには少なくとも2つの変数が必要であるため、それぞれのトレースは複数の変数を表します。Bii/WiiBii/WiiB_{ii}/W_{ii} 更新：Bii/WiiBii/WiiB_{ii}/W_{ii}は、和が暗示されるトレース上のトレースではなく、マトリックス要素BiiBiiB_{ii}を割ったものだと考えるのは正しいWiiWiiW_{ii}でしょうか？現在、それが式と概念を調和させることができる唯一の方法です。

13 algorithms  dimensionality-reduction  discriminant-analysis  sums-of-squares 

ガウス判別分析モデルはを学習し、次にベイズ規則を適用して したがって、それらは生成モデルです。なぜそれが判別分析と呼ばれるのですか？クラス間の判別曲線を最終的に導出するためである場合、それはすべての生成モデルで発生します。P（x | y）P（バツ|y）P(x|y)P（y| x）= P（x | y）Pp R I O R（y）Σg∈ YP（x | g）PP Rのi個のOR（g）。P（y|バツ）=P（バツ|y）Ppr私or（y）Σg∈YP（バツ|g）Ppr私or（g）。P(y|x) = \frac{P(x|y)P_{prior}(y)}{\Sigma_{g \in Y} P(x|g) P_{prior}(g) }.

13 normal-distribution  discriminant-analysis  generative-models 

パターン認識と機械学習を研究していますが、次の質問にぶつかりました。 等しい事前クラス確率P （D 1）= P （D 2）= 1の 2クラス分類問題を考えますP(D1)=P(D2)=12P(D1)=P(D2)=12P(D_1)=P(D_2)= \frac{1}{2} によって与えられた各クラスのインスタンスの分布 p(x|D1)=N([00],[2001]),p(x|D1)=N([00],[2001]), p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right), p(x|D2)=N([44],[1001]).p(x|D2)=N([44],[1001]). p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right). …

12 machine-learning  self-study  classification  discriminant-analysis 

線形判別分析とベイズ規則の関係は何ですか？LDAは、グループ内分散とグループ分散間の比を最小化しようとすることで分類に使用されることを理解していますが、ベイズルールがどのように使用されるかわかりません。

12 classification  discriminant-analysis  bayes 

PCA、LDA、Naive Bayesをそれぞれ圧縮と分類に実装しています（圧縮と分類にLDAの両方を実装しています）。 私はコードを書いてあり、すべてが動作します。私が知っておく必要があるのは、報告書に関して、再構成エラーの一般的な定義です。 私は多くの数学とその使用法を文献で見つけることができます...しかし、私が本当に必要なのは鳥瞰図/わかりやすい言葉の定義なので、レポートに適合させることができます。

12 machine-learning  pca  terminology  dimensionality-reduction  discriminant-analysis 

線形判別学習者におけるクラス分離可能性の良い尺度の例は、フィッシャーの線形判別比です。機能セットがターゲット変数間の適切なクラス分離を提供するかどうかを判断するために他に役立つメトリックはありますか？特に、ターゲットクラスの分離を最大化するための適切な多変量入力属性を見つけることに関心があり、優れた分離可能性を提供するかどうかをすばやく判断するための非線形/ノンパラメトリック測定値があると便利です。

11 machine-learning  classification  feature-selection  discriminant-analysis 

主成分分析で得られた値のバイプロットを使用して、各主成分を構成する説明変数を調べることができます。 これは線形判別分析でも可能ですか？ 提供されている例では、データは「エドガーアンダーソンのアイリスデータ」（http://en.wikipedia.org/wiki/Iris_flower_data_set）です。ここで、虹彩データ： id SLength SWidth PLength PWidth species 1 5.1 3.5 1.4 .2 setosa 2 4.9 3.0 1.4 .2 setosa 3 4.7 3.2 1.3 .2 setosa 4 4.6 3.1 1.5 .2 setosa 5 5.0 3.6 1.4 .2 setosa 6 5.4 3.9 1.7 .4 setosa 7 4.6 3.4 1.4 .3 …

11 r  pca  multivariate-analysis  discriminant-analysis  biplot 

私は、主成分分析と多重判別分析（線形判別分析）の違いについてこの記事を読んでおり、MDA / LDAではなくPCAを使用する理由を理解しようとしています。 説明は次のように要約されます。 PCAで大まかに言えば、データが最も分散している（PCAはデータセット全体を1つのクラスとして扱うため、クラス内で）最大の分散を持つ軸を見つけようとしています。MDAでは、クラス間の分散をさらに最大化しています。 常に分散を最大化し、クラス間の分散を最大化したいと思いませんか？

10 classification  pca  dimensionality-reduction  discriminant-analysis 

LDAを実行する2つのアプローチ、ベイジアンアプローチとフィッシャーアプローチを知っています。 データ(x,y)(x,y)(x,y)とします。ここで、xxxはppp次元予測子であり、yyyはKKKクラスの従属変数です。 ベイジアンアプローチにより、事後p （y k | x ）= p （x | y k）p （y k）を計算しますp(yk|x)=p(x|yk)p(yk)p(x)∝p(x|yk)p(yk)p(yk|x)=p(x|yk)p(yk)p(x)∝p(x|yk)p(yk)p(y_k|x)=\frac{p(x|y_k)p(y_k)}{p(x)}\propto p(x|y_k)p(y_k)、および本で述べられているように、p(x|yk)p(x|yk)p(x|y_k)がガウスであると仮定すると、kkk番目のクラスの判別関数は、Iが見ることができるFK（xは）の線形関数であるXので、すべてのために、K個のクラス我々はKを判別関数線形。fk(x)=lnp(x|yk)+lnp(yk)=ln[1(2π)p/2|Σ|1/2exp(−12(x−μk)TΣ−1(x−μk))]+lnp(yk)=xTΣ−1μk−12μTkΣ−1μk+lnp(yk)fk(x)=ln⁡p(x|yk)+ln⁡p(yk)=ln⁡[1(2π)p/2|Σ|1/2exp⁡(−12(x−μk)TΣ−1(x−μk))]+ln⁡p(yk)=xTΣ−1μk−12μkTΣ−1μk+ln⁡p(yk)\begin{align*}f_k(x)&=\ln p(x|y_k)+\ln p(y_k)\\&=\ln\left[\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k)\right)\right]+\ln p(y_k)\\&=x^T\Sigma^{-1}\mu_k-\frac{1}{2}\mu_k^T\Sigma^{-1}\mu_k+\ln p(y_k)\end{align*}fk(x)fk(x)f_k(x)xxxKKKKKK xxx(K−1)(K−1)(K-1)WWW 私の質問は fk(x)fk(x)f_k(x)x∗x∗x^*fk(x)fk(x)f_k(x)xxx fk(x)fk(x)f_k(x) 更新 ESLブックによると、@ amoebaのおかげで、私はこれを見つけました： ΣΣ\Sigmafk(x)fk(x)f_k(x) Σ−1μkΣ−1μk\Sigma^{-1}\mu_kxxx もう一度更新 セクション4.3.3から、これらの投影法は次のように導き出されました。 WWWWWWKKKWWW

10 discriminant-analysis 

誰かが尖度に関する情報を手伝ってくれるかどうか疑問に思っていました（つまり、データを変換して削減する方法はありますか？） 多数のケースと変数を含むアンケートデータセットがあります。いくつかの変数について、データはかなり高い尖度値（すなわち、レプトクルト分布）を示しています。これは、多くの参加者が変数に対して正確に同じスコアを与えたという事実から派生しています。私は特に大きなサンプルサイズを持っているので、中心極限定理によれば、正規性の違反はまだ問題ないはずです。 ただし、問題は、特に高レベルの尖度が私のデータセットに多くの単変量の外れ値を生成しているという事実です。そのため、データを変換したり、外れ値を削除/調整したりしても、高レベルの尖度は、次に最も極端なスコアが自動的に外れ値になることを意味します。（判別関数分析）を利用することを目指しています。DFAは、違反が外れ値ではなく歪度によって引き起こされている場合、正常からの逸脱に対して堅牢であると言われています。さらに、DFAはデータの外れ値の影響を特に受けているとも言われています（Tabachnick＆Fidel）。 これを回避する方法のアイデアはありますか？（私の最初の考えは尖度を制御する何らかの方法でしたが、私のサンプルのほとんどが同様の評価を与えているのであれば、それは一種の良いことではありませんか？）

10 distributions  assumptions  kurtosis  discriminant-analysis  parametric 

文献で時々見られるように、k-meansのようなクラスタリングアルゴリズムの結果に対して判別分析（DA）を使用する根拠は（もしあれば）何ですか（本質的には精神障害の臨床的サブタイピングについて）。 クラス間の（クラス内の）慣性の最大化（または最小化）をサポートするため、クラスターの構築中に使用された変数のグループの違いをテストすることは一般に推奨されません。したがって、より低い次元の階乗空間に個人を埋め込み、そのようなパーティションの「一般化可能性」のアイデアを得ようとしない限り、私は予測的DAの付加価値を完全に理解することはできません。ただし、この場合でも、クラスター分析は基本的に探索ツールであるため、この方法で計算されたクラスメンバーシップを使用してスコアリングルールをさらに導出することは、一見奇妙に思えます。 推奨事項、アイデア、または関連論文へのポインタはありますか？

10 clustering  discriminant-analysis 

私は判別分析を勉強していますが、いくつかの異なる説明を調整するのに苦労しています。私は何かを見逃しているに違いないと私は信じています。これまでこのレベルの矛盾に遭遇したことがないからです。とはいえ、このWebサイトでの判別分析に関する質問の数は、その複雑さを証明しているようです。 いくつかのクラスのLDAとQDA 私の主な教科書は、Johnson＆Wichern Applied Multivariate Statistical Analysis（AMSA）とこれに基づく私の先生のメモです。2つのグループの設定は無視します。これは、この設定の簡略化された式が少なくともいくつかの混乱を引き起こしているためです。この情報源によると、LDAとQDAは、予想誤分類コスト（ECM）に基づく分類ルールのパラメトリック（多変量正規性を想定）拡張として定義されています。ECMは、新しい観測値xを任意のグループに分類するための条件付き予想コストを合計し（誤分類コストと事前確率を組み込んで）、これを最小化する分類領域を選択します。ここでECM=∑i=1groupspi[∑k=1; i≠kgroupsP(k|i)c(k|i)]ECM=∑i=1groupspi[∑k=1; i≠kgroupsP(k|i)c(k|i)]ECM = \sum_{i=1}^{groups} p_i [\sum_{k=1;\space i \ne k}^{groups}P(k|i)c(k|i)]P(k|i)=P(classifying item as group k | item is group i)=∫Rkfi(x)dxP(k|i)=P(classifying item as group k | item is group i)=∫Rkfi(x)dxP(k|i) = P(\text{classifying item as group k } | \text{ item is group i}) = \int_{R_k} f_i(\boldsymbol{x})d\boldsymbol{x}、fi(x)fi(x) …

10 multivariate-analysis  discriminant-analysis 

次元削減（またはPCAによる次元削減後の変換）にマルチクラス線形判別分析（または、多重判別分析をときどき読む）を使用する場合、一般的に、完全に異なるスケールで測定されていても、機能は必要ありませんよね？LDAには、すでに正規化されたユークリッド距離を意味するマハラノビス距離に類似した用語が含まれているためですか？ したがって、それは必要ではないだけでなく、標準化された機能と標準化されていない機能のLDA後の結果はまったく同じになるはずです！？

9 classification  data-transformation  normalization  standardization  discriminant-analysis