タグ付けされた質問 「correlation」

特定の相関関係を持つ乱数のペアを生成したいと思います。ただし、2つの正規変数の線形結合を使用する通常のアプローチは、ここでは有効ではありません。これは、均一変数の線形結合はもはや均一分布変数ではないためです。2つの変数が均一である必要があります。 特定の相関関係を持つ均一変数のペアを生成する方法に関するアイデアはありますか？

14 correlation  random-generation  uniform 

外れ値を検出する簡単な方法があるかどうか疑問に思っています。 基本的に、回答者が1週間に身体活動に参加する回数と1週間に家の外で食べる回数（ファーストフード）の相関関係である私のプロジェクトの1つで、散布図を描き、文字通り削除しました極端なデータポイント。（散布図は負の相関を示しました。） これは価値判断に基づいていました（これらのデータポイントが明らかに極端である散布図に基づいています）。統計的検定はしませんでした。 これが外れ値に対処する健全な方法であるかどうか疑問に思っています。 私は350人からのデータを持っているので、（たとえば）20データポイントの損失は私にとって心配ではありません。

14 correlation  outliers 

これはおそらく、偏相関がどのように機能するかについての基本的な理解不足を示しています。 私は3つの変数、x、y、zを持っています。zを制御すると、xとyの相関は、zを制御しなかったときのxとyの相関よりも大きくなります。 これは理にかなっていますか？3番目の変数の効果を制御すると、相関が減少するはずだと思う傾向があります。 ご協力ありがとうございました！

14 correlation 

2つの時系列SとTがあります。それらは同じ周波数と同じ長さを持っています。 （Rを使用して）このペア間の相関（SとT）を計算し、相関の有意性も計算できるようにしたいので、相関が偶然によるものかどうかを判断できます。 私はRでこれをやりたいと思っており、私を始めるためのポインタ/骨格フレームワークを探しています。

14 r  time-series  correlation 

コンテキスト：パラメトリックではない散布図に線を描画したいのでgeom_smooth()、ggplotin を使用していRます。geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the smoothing method.一般化された加法モデルのGAMスタンドを収集し、3次スプラインを使用して自動的に戻ります。 次の認識は正しいですか？ レスは、特定の値で応答を推定します。 スプラインは、データ（一般化された加法モデルを構成する）に適合するさまざまな区分的関数を接続する近似であり、3次スプラインはここで使用される特定のタイプのスプラインです。 最後に、スプラインはいつ使用する必要があり、LOESSはいつ使用する必要がありますか？

14 r  gam  splines  loess  r  data-visualization  boxplot  mathematical-statistics  theory  sufficient-statistics  machine-learning  classification  correlation  svm  feature-selection  probability  stochastic-processes  machine-learning  reinforcement-learning 

私はそれがどのように計算できるかによって特徴付けられると思われる距離相関についてウィキペディアのページを見つめてきました。計算はできましたが、距離相関の測定値と、計算が実際のように見える理由を取得するのに苦労しています。 それが測定するものを理解するのを助けることができる距離相関の（または多くの）より直感的な特性評価はありますか？ 直観を求めることは少しあいまいですが、どんな直感を求めているかを知っていれば、そもそも尋ねなかっただろう。また、2つのランダム変数間の距離相関のケースに関する直感を喜んでいます（2つのランダムなベクトル間で距離相関が定義されている場合でも）。

14 correlation  distance  intuition  distance-covariance 

2つの予測子が負の相関関係にある場合、合計と3番目の変数との相関関係について、困惑する結果が得られます。これらの困惑する結果の原因は何ですか？ 例1：2つの変数の合計と3番目の変数の相関 以下に示すギルドフォードの1965年のテキストの427ページの式16.23を検討してください。 複雑な結果：両方の変数が.2を3番目の変数と相関させ、-。7を相互に相関させる場合、式の値は.52になります。2つの変数がそれぞれ.2だけを3番目の変数と相関させる場合、合計と3番目の変数との相関関係を.52にするにはどうすればよいですか？ 例2：2つの変数と3番目の変数の間の多重相関とは何ですか？ ギルフォードの1965年のテキストの404ページの式16.1を検討してください（以下を参照）。 困惑する発見：同じ状況。両方の変数が.2を3番目の変数と相関させ、-。7を互いに相関させる場合、式の値は.52になります。2つの変数がそれぞれ.2だけを3番目の変数と相関させる場合、合計と3番目の変数との相関関係を.52にするにはどうすればよいですか？ ちょっとしたモンテカルロシミュレーションを試したところ、ギルフォードの公式の結果が確認できました。 しかし、2つの予測子がそれぞれ3番目の変数の分散の4％を予測する場合、それらの合計は分散の1/4をどのように予測できますか？ 出典：心理学と教育の基礎統計、第4版、1965年。 明確化 私が対処している状況には、現在の能力の測定に基づいて、個々の人々の将来のパフォーマンスを予測することが含まれます。 以下の2つのベン図は、状況に対する私の理解を示しており、私の困惑を明確にするためのものです。 このベン図（図1）は、x1とCの間のゼロ次r = .2を反映しています。私の分野では、基準を適度に予測するこのような予測変数が多数あります。 このベン図（図2）は、それぞれr = .2でCを予測する2つの予測子x1とx2と、負の相関がある2つの予測子r =-。7を反映しています。 Cの分散の25％を一緒に予測する2つのr = .2予測子間の関係を想像するのに途方に暮れています。 x1、x2、およびCの関係を理解するのに役立ちます。 （私の質問に対する回答で示唆されたように）x2がx1のサプレッサー変数として機能する場合、2番目のベン図のどの領域が抑制されますか？ 具体的な例が役立つ場合、x1とx2は2人の人間の能力であり、Cは4年後の4年制大学GPAであると考えることができます。 サプレッサー変数が、2つのr = .2ゼロ次rの8％の説明された分散を引き起こし、Cの分散の25％を拡大して説明する方法を想像するのに問題があります。具体的な例は非常に役立つ答えです。

13 correlation  multiple-regression 

私の意見では、ネットワークはデータのノイズなどの相関を学習するため、相関入力データはニューラルネットワークの過剰適合につながる必要があります。 これは正しいです？

13 correlation  neural-networks  overfitting 

p値を使用して、有意性についてサンプル相関をテストしたいrrr H0:ρ=0,H1:ρ≠0.H0:ρ=0,H1:ρ≠0.H_0: \rho = 0, \; H_1: \rho \neq 0. 私はフィッシャーのz変換を使用してこれを計算できることを理解しました zobs=n−3−−−−−√2ln(1+r1−r)zobs=n−32ln⁡(1+r1−r)z_{obs}= \displaystyle\frac{\sqrt{n-3}}{2}\ln\left(\displaystyle\frac{1+r}{1-r}\right) そしてp値を見つける p=2P(Z>zobs)p=2P(Z>zobs)p = 2P\left(Z>z_{obs}\right) 標準正規分布を使用します。 私の質問は、これが適切な変換であるためには、がどれくらい大きい必要があるかということです。もちろん、nは私の教科書は何の制限に言及していない3よりも大きくする必要がありますが、のスライド29にこのプレゼンテーションには、その言うnは私のようなものがあります、私は考慮されるデータについては10より大きくなければならない5 ≤ nと≤ 10。nnnnnnnnn5≤n≤105≤n≤105 \leq n \leq 10

13 correlation  sample-size  fisher-transform 

1000個の観測値と50個の変数のマトリックスがあり、それぞれが5ポイントスケールで測定されています。これらの変数はグループに編成されていますが、各グループには同数の変数はありません。 2種類の相関を計算したい： （特性間の）変数グループ内の相関：変数グループ内の変数が同じものを測定しているかどうかの尺度。 変数のグループ間の相関：各グループが1つの全体的な特性を反映していると仮定して、各特性（グループ）が他のすべての特性とどのように関連しているかを示す何らかの尺度。 これらの特性は、以前グループに分類されていました。グループ間の相関関係を見つけることに興味があります。つまり、グループ内の特性が同じ基本特性（上記の＃1を完了した-クロンバッハのアルファ）を​​測定していると仮定すると、特性自体は関連していますか？ 誰がどこから始めればいいのか提案はありますか？

13 correlation  psychometrics  scales 

L1正規化線形回帰のあてはめにLARS [1]を使用する場合と座標降下を使用する場合の長所と短所は何ですか？ 私は主にパフォーマンスの側面に興味があります（私の問題はN数十万とp20未満にある傾向があります）。しかし、他の洞察も歓迎されます。 編集：私は質問を投稿したので、chlは親切にフリードマンらによる論文[2]を指摘しました。そこでは、座標降下は他の方法よりもかなり速いことが示されています。その場合、実務家として座標降下を支持するLARSを単に忘れるべきですか？ [1]エフロン、ブラッドリー。ヘイスティー、トレバー; ジョンストーン、イアンおよびティブシラーニ、ロバート（2004）。「最小角度回帰」。統計32（2）：pp。407–499。 [2] Jerome H. Friedman、Trevor Hastie、Rob Tibshirani、「座標降下による一般化線形モデルの正規化パス」、Journal of Statistics Software、Vol。33、1号、2010年2月。

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

ファイとマシューズの相関係数は同じ概念ですか？2つのバイナリ変数のピアソン相関係数とどのように関連または同等ですか？バイナリ値は0と1であると仮定します。 2つのベルヌーイ確率変数xxxと間のピアソンの相関yyyは次のとおりです。 ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 \rho = \frac{\mathbb{E} [(x - \mathbb{E}[x])(y - \mathbb{E}[y])]} {\sqrt{\text{Var}[x] \, \text{Var}[y]}} = \frac{\mathbb{E} [xy] - \mathbb{E}[x] \, \mathbb{E}[y]}{\sqrt{\text{Var}[x] \, \text{Var}[y]}} = \frac{n_{1 1} n - n_{1\bullet} n_{\bullet 1}}{\sqrt{n_{0\bullet}n_{1\bullet} n_{\bullet 0}n_{\bullet 1}}} どこ E[x]=n1∙nVar[x]=n0∙n1∙n2E[y]=n∙1nVar[y]=n∙0n∙1n2E[xy]=n11nE[x]=n1∙nVar[x]=n0∙n1∙n2E[y]=n∙1nVar[y]=n∙0n∙1n2E[xy]=n11n \mathbb{E}[x] = \frac{n_{1\bullet}}{n} \quad \text{Var}[x] = \frac{n_{0\bullet}n_{1\bullet}}{n^2} \quad \mathbb{E}[y] = \frac{n_{\bullet 1}}{n} \quad \text{Var}[y] …

13 correlation  contingency-tables  bernoulli-distribution  model-evaluation  confusion-matrix 

Rのパッケージ「lars」を次のコードで使用しています。 > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <- cbind(x1,x2,x3,x4,x5) > cor(cbind(y,x)) y x1 x2 …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

ウィキペディアには、スピアマンの順位相関を近似Zスコアにフィッシャー変換しています。おそらく、Zスコアは帰無仮説（ランク相関0）との違いですか？ このページには次の例があります。 4, 10, 3, 1, 9, 2, 6, 7, 8, 5 5, 8, 6, 2, 10, 3, 9, 4, 7, 1 rank correlation 0.684848 "95% CI for rho (Fisher's z transformed)= 0.097085 to 0.918443" Fisher変換を使用して95％信頼区間を取得する方法

13 correlation  spearman-rho 

閉まっている。この質問はトピック外です。現在、回答を受け付けていません。 この質問を改善したいですか？ 質問を更新することがありますので、話題のクロス検証済みのため。 4年前に閉鎖されました。 変数間に関係があるかどうかを調べるために使用できるRパッケージはありますか？ 通常、パターンを探しているときは、相関関係を調べ、次にファセットプロットを調べます。次に、データ内の変数にいくつかの変換を手動で適用します。Rパッケージによってこのプロセスを加速できるかどうか疑問に思っていました。

13 r  data-visualization  correlation  eda