タグ付けされた質問 「correlation」

私の以前の投稿に続いて、私が理解できる限り、3つの相関係数がある場合、それらをペアでテストして、それらの間に有意差があるかどうかを確認する必要があります。 これは、フィッシャー変換を使用して、rのzスコアを計算し、次にzのp値（以前の投稿で推奨されている計算機がありがたいことです）を計算して、p値が次の値よりも高いか低いかを確認する必要があることを意味します各ペアの私のアルファ値（0.05）。 つまり、21〜30歳が1歳のグループ1で、31〜40歳が2歳のグループ2であり、41〜50歳が2歳のグループ2である場合、買い物の習慣と減量の相関関係は次のようになります。 グループ1とグループ2 グループ1とグループ3 グループ2とグループ3 3つの別々の計算を行う代わりに、これらすべての計算を1つのステップで実行する方法はありますか？

9 correlation 

ARMA / ARIMAモデルがうまく機能しない、非常に非線形なデータを見ています。しかし、いくつかの自己相関があり、非線形自己相関の方が良い結果が得られると思います。 1 /ランク相関のPACFに相当するものはありますか？（Rで？） 2 /非線形/ランク相関（R内）のARMAモデルに相当するものはありますか？

9 r  correlation  nonparametric  garch  arma 

私のデータセットは、沿岸、ミッドチャネル、オフショアの3つのサイトタイプでの生物の全死亡率または生存率で構成されています。下の表の数字は、サイトの数を表しています。 100% Mortality 100% Survival Inshore 30 31 Midchannel 10 20 Offshore 1 10 100％の死亡率が発生したサイトの数がサイトのタイプに基づいて重要かどうかを知りたいです。2 x 3カイ2乗を実行すると、重要な結果が得られます。実行できる事後的なペアワイズ比較はありますか、または実際にロジスティックANOVAまたは二項分布の回帰を使用する必要がありますか？ありがとう！

9 logistic  multiple-comparisons  chi-squared  r  text-mining  clustering  classification  feature-selection  unsupervised-learning  time-series  references  mode  hypothesis-testing  confidence-interval  bootstrap  normal-distribution  order-statistics  correlation  statistical-significance  spss  bayesian  beta-binomial 

リッカート尺度が使用された多くの測定で相関を実行したいと考えています。散布図を見ると、線形性と等分散性の仮定に違反している可能性があります。 序数レベルの評価と間隔レベルのスケーリングの概算について議論があるように見えるので、安全にプレイして、ピアソンのrではなくスピアマンのローを使用する必要がありますか？ スピアマンのローと一緒に行く場合に引用できる参考文献はありますか？

9 correlation  scales  heteroscedasticity  likert 

同じ期間に発生したイベントのデータセットがあります。各イベントにはタイプ（10未満の異なるタイプがいくつかあります）と場所があり、2Dポイントとして表されます。 イベントの種類や種類と場所の間に相関関係がないか確認したい。たとえば、タイプAのイベントは通常、タイプBのイベントが発生する場所では発生しない可能性があります。あるいは、ある地域では、タイプCのイベントがほとんどあります。 これを実行するためにどのようなツールを使用できますか？統計分析の初心者である私の最初のアイデアは、このデータセットに対して何らかの種類のPCA（主成分分析）を使用して、各タイプのイベントが独自のコンポーネントを持っているか、または一部が同じコンポーネントを共有しているか（つまり、相関していたか）を確認することでした。 私のデータセットは約500'000ポイントであるため、処理が少し難しくなります。（x 、y、t yp e ）(x,y,type)(x, y, type) 編集：以下の回答とコメントに記載されているように、このワークショップレポートで詳細に説明されているように、これをマークポイントプロセスとしてモデル化し、Rを使用してすべての重い作業を実行する方法です：http：/ /www.csiro.edu.au/resources/Spatial-Point-Patterns-in-R.html

9 correlation  pca  multivariate-analysis  point-process 

非正規分散データを使用して人工ニューラルネットワーク（バックプロパゲーション、フィードフォワード）をトレーニングしています。二乗平均平方根誤差のほかに、文献は、訓練されたネットの品質を評価するためのピアソン相関係数をしばしば示唆しています。しかし、訓練データが正規分布されていない場合、ピアソン相関係数は妥当ですか？ランクベースの相関測定、たとえばスピアマンローを使用することは、より合理的ではないでしょうか？

9 correlation  neural-networks  spearman-rho 

最小角度回帰（LAR）の問題を解決しようとしています。これが問題である3.23ページ上の97のHastieら、統計的学習、第二の要素。ed。（5回目の印刷）。 すべての変数と応答が平均ゼロと標準偏差1を持つ回帰問題を考えてみましょう。また、各変数が応答と同一の絶対相関を持つと仮定します。 1N|⟨xj,y⟩|=λ,j=1,...,p1N|⟨xj,y⟩|=λ,j=1,...,p \frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p ましょうβはの最小二乗係数であるYにXおよびlet U（α ）= α X βのためのα ∈ [ 0 、1 ]。β^β^\hat{\beta}yy\mathbf{y}XX\mathbf{X}u(α)=αXβ^u(α)=αXβ^\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}α∈[0,1]α∈[0,1]\alpha\in[0,1] 私はそれを示すように求められます と私はそれに問題があります。これは基本的に、各xjと残差との相関がuに向かって進んでも大きさが等しいことを示していることに注意してください。1N|⟨xj,y−u(α)⟩|=(1−α)λ,j=1,...,p1N|⟨xj,y−u(α)⟩|=(1−α)λ,j=1,...,p \frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = …

9 regression  machine-learning  correlation  self-study 

私には2つの変数があり、それらの間のピアソン相関などを計算できますが、t検定で得られるものに類似したもの（つまり、相関がどれほど重要であるかの概念）を知りたいです。 そのようなものは存在しますか？

9 correlation  statistical-significance 

そのため、ハミング距離を使用して生体認証特性から個人を認証しようとしている16のトライアルがあります。しきい値は3.5に設定されています。私のデータは以下であり、トライアル1のみが真陽性です。 Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 11 0.42 12 0.37 13 0.66 14 0.39 15 0.44 16 0.39 私の混乱のポイントは、このデータからROC曲線（FPR対TPR OR FAR対FRR）を作成する方法が本当にわからないということです。どちらでもかまいませんが、どうやって計算するのか混乱しています。任意の助けいただければ幸いです。

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

私が取り組んでいる問題で、XとYの2つの確率変数があります。2つがどれほど密接に相関しているかを理解する必要がありますが、それらは次元が異なります。Xの行スペースのランクは4350であり、Yの行スペースのランクは数万とかなり大きくなっています。XとYの両方に同じ数の列があります。 2つの変数間の相関関係の測定が必要です。ピアソンのrは、XとYの次元が等しい必要があります（少なくともRは、2つのrvが必要です）。 これらの2つの間に相関関係を作る希望はありますか、それともYからの観測を切り捨てる方法を見つける必要がありますか？ EDIT 質問に含まれるべきコメントから情報を追加します。 私はこれについて言及するのを忘れたと思います。XとYは株価です。X社はY社よりもはるかに短い期間公開されました。XとYの価格がどのように相関しているかを教えてください。XとYの両方が存在する期間の相関関係を確実に得ることができました。Xが存在しないというYの余計な数年間の株価を知ることで、追加情報が得られるかどうか知りたいと思いました。

9 time-series  correlation  missing-data  finance 

私はロジスティック回帰モデルに取り組んでいます。P値が0.74で有意ではない5つの独立変数で構築されたモデルの概要をチェックしました。変数を直接削除するか、それとも有意性をチェックする他の方法があるかを知りたいです？ 私の先輩は、無意味な変数の対数変換を行い、相関関係を探すよう提案しました。それはその重要性のチェックにカウントされますか？ model <- glm(Buy ~ a_score + b_score+ c_score+lb+p, data = history, family = binomial) 重要度が低いと表示されているa_scoreを除いて、すべての変数は2つまたは3つの星で重要であることがわかります。

9 r  regression  correlation 

私はダニエル・カーネマンの「思考、高速、低速」を読んでいて、次のテキストに出くわしました 数年前、私は金融スキルの幻想を間近で調べる珍しい機会がありました。私は、非常に裕福な顧客に財務アドバイスやその他のサービスを提供している会社の投資顧問のグループに話すように招待されていました。私はプレゼンテーションを準備するためにいくつかのデータを要求し、小さな宝物を与えられました：連続した8年間のそれぞれについて、25人の匿名の資産顧問の投資結果をまとめたスプレッドシート。各アドバイザーの各年のスコアは、年末ボーナスの彼（彼らのほとんどが男性）の主要な決定要因でした。毎年のパフォーマンスでアドバイザーをランク付けし、彼らの間で永続的なスキルの違いがあったかどうか、同じクライアントが年々クライアントにより良い結果を一貫して達成したかどうかを判断することは簡単なことでした。 この質問に答えるために、各年のペアのランキング間の相関係数を計算しました。年目を年目、年目を年目、以下同様に年目から年目まで計算しました。これにより、年のペアごとに1つずつ、相関係数が得られました。私は理論を知っていて、スキルの持続の弱い証拠を見つける準備ができていました。それでも、相関の平均がであることに驚いた2 1 3 7 8 28 28 0.01111222111３337778882828282828280.010.010.01。つまり、ゼロ。スキルの違いを示す一貫した相関関係は見つかりませんでした。結果は、技のゲームではなく、サイコロを転がすコンテストに期待する結果に似ていました。社内の誰も、自社のピッカーがプレイしているゲームの性質を認識していないようでした。アドバイザー自身は、彼らが真面目な仕事をしている有能な専門家だと感じ、上司も同意した。 カーネマン氏は続け、金融業界は主にスキルの幻想に基づいていると主張している。 質問：なぜこの例は、金融業界がスキルの幻想に基づいていることを示していますか？異なる年のランキング間の相関関係がストックピッカーの相対的なスキルについて何かを示していることを理解しています。あれは; ストックピッカーのスキルとストックピッカースキルの比較。しかし、なぜそれがグループとしてのピッカーのスキルについて何と言っているのか私にはわかりません。BあAABBB タイガーウッズとまったく同じスキルを持つゴルファーのグループがあるとします。8年間の成功の相関係数を計算する場合、相関もゼロになるはずですが、それは彼らが弱いプレイヤー/スキルがないことを意味するものではありません。

9 regression  time-series  correlation 

私は、スピアマンの相関とケンドールの相関の差が1以下であることを証明または証明しようとしています。 結びつきはないと思います。 反例を使用して結果を反証する試みで、長さ8のベクトルのすべての可能性をチェックしました。 差： この場合、差は決して0.4を超えないので、本当だと思いますが、証明できませんでした。

9 correlation  spearman-rho  kendall-tau 

このデータセットを扱っているとします。ここで、は連続変数（たとえば、指数）であり、は離散分布（たとえば、ポアソン）です。がと間の相関であるとしましょう。どうすれば定義できますか？ (Xi,Ni)(Xi,Ni)(X_i, N_i)XiXiX_iNiNiN_ii=1,...,ni=1,...,ni=1,...,nρρ\rhoXXXNNNρρ\rho

9 correlation  count-data 

2つの量が相関していることを示した後、関係が因果関係であるとどのように推測しますか？そしてさらに、どれが何を引き起こすのですか？理論的には、2つの変数の間に存在する可能性のある事故のきずなを破るために、「ランダムな割り当て」（正しい単語が何であれ）を使用できます。しかし、これができない場合もあります。たとえば、1週間にたばこで測定した人が喫煙する頻度と、年で測定した平均余命を比較します。2つのグループをランダムに選択できます。片方のグループを煙にして、もう片方を煙にしない 割り当てはランダムであるため、これはそれらの間の他の関係を壊すはずです。しかし、これはもちろん多くの異なる理由で行うことができません。それで、使用できるテクニックのいくつかは何ですか？

9 correlation  causality