タグ付けされた質問 「regression」

1つ(または複数)の「従属」変数と「独立」変数の間の関係を分析する手法。

3
回帰でさらに1つの変数を追加するときに、はるかに大きなマグニチュードで符号反転
基本的なセットアップ: 回帰モデル: ここで、Cは制御変数のベクトルです。y=constant+β1x1+β2x2+β3x3+β4x4+αC+ϵy=constant+β1x1+β2x2+β3x3+β4x4+αC+ϵy = \text{constant} +\beta_1x_1+\beta_2x_2+\beta_3x_3+\beta_4x_4+\alpha C+\epsilon 私は興味があり、とが負になることを期待しています。ただし、モデルには多重共線性の問題があり、相関係数は、corr(、 0.9345、corr(、 0.1765、corr(、 0.3019によって与えられます。β 1 β 2 、X 1 、X 2)= X 1 X 3)= X 2 X 3)=ββ\betaβ1β1\beta_1β2β2\beta_2x1x1x_1x2)=x2)=x_2)=x1x1x_1x3)=x3)=x_3)=x2x2x_2x3)=x3)=x_3)= したがって、とは相関が高く、事実上同じ情報を提供する必要があります。3つの回帰を実行します。 x 2x1x1x_1x2x2x_2 変数を除外します。2.変数を除外します。3.と両方を含む元のモデル。x 2 x 1 x 2x1x1x_1x2x2x_2x1x1x_1x2x2x_2 結果: 回帰1と2の場合、それぞれと予想される符号を提供します。また、標準エラーでHAC補正を行った後、とは両方のモデルで10%レベルで有意です。は正ですが、両方のモデルで有意ではありません。β 1 β 2 β 1 β 3β2β2\beta_2β1β1\beta_1β2β2\beta_2β1β1\beta_1β3β3\beta_3 ただし、3の場合、には予想される符号がありますが、の符号は正で、絶対値では 2倍の大きさです。また、とはも重要ではありません。さらに、の等級は、回帰1および2と比較してほぼ半分に減少します。β 2 β 1 β …

2
リレーショナルデータからの学習
設定 多くのアルゴリズムは単一のリレーションまたはテーブルで動作しますが、実際のデータベースの多くは情報を複数のテーブルに格納します(Domingos、2003)。 質問 どのタイプのアルゴリズムが複数の(リレーショナル)テーブルからうまく学習しますか。特に、回帰と分類のタスクに適用可能なアルゴリズムに興味があります(リンク分析などのネットワーク分析指向のアルゴリズムではありません)。 以下にリストされているいくつかのアプローチを認識しています(しかし、いくつかのアプローチが欠けていることは確かです): マルチリレーショナルデータマイニング(MRDM)(Dzeroski、2002年) 帰納論理プログラミング(ILP)(Muggleton、1992) 統計的関係学習(SRL)(Getoor、2007年) Džeroski、S.(2003)。マルチリレーショナルデータマイニング:はじめに。ACM SIGKDD Explorationsニュースレター。 Getoor、Lise、およびBen Taskar編。統計的関係学習の紹介。MITプレス、2007年。 S.マグルトンとC.フェン 論理プログラムの効率的な導入。アルゴリズム学習理論に関する最初の会議の議事録、368–381ページ。オームシャ、東京、1990年。

4
回帰用のボックスコックス変換
1つの予測子(たとえば(x、y)など)を使用して、いくつかのデータに線形モデルを適合させようとしています。データは、xの値が小さい場合、y値は直線にぴったりとフィットしますが、x値が増加すると、y値はより変動しやすくなります。そのようなデータの例を次に示します(Rコード) y = c(3.2,3.4,3.5,3.8,4.2,5.5,4.5,6.8,7.4,5.9) x = seq(1,10,1) 以下に示すように、単純に線形近似を行うよりも、データをより適切に近似できる電力変換(おそらくボックスコックス)が存在するかどうか知りたいです。 fit = lm(y ~ x)

2
グループ内の最大の貢献者を決定する
統計についてはあまり知りませんので、ご容赦ください。1000人の労働者のセットがあるとします。私は最も困難な労働者が誰であるかを知りたいのですが、1時間に相当する1時間から100人のグループで行われる作業量しか測定できません。各労働者が常にほぼ同じ量の作業を行うと仮定すると、多数の試行と組み合わせで、最も勤勉な人によって私の労働者をランク付けできますか? 注:これは単なる比喩なので、実際にテストを実行することについて心配しないでください。大量のデータセットがすでにあると仮定してください。 編集: 「各労働者が常にほぼ同じ量の仕事をすることを想定している」と私が言うとき、私は各個人が日常的にほぼ同じ量の仕事をすることを意味します。したがって、Joeyは毎日約100単位の作業を行い、Gregは約50の作業を行います。問題は、グループで行われた作業単位の数しか観察できないことです。 その他の編集: 一度に作業する労働者の数と作業頻度について。同時に働く労働者の数はいくらでもあり得ます。一部の労働者はおそらく他の労働者よりもはるかに多く働くことになります。つまり、一部の労働者はほぼ90%の時間勤務し、他の労働者はほとんど勤務しないと想定できます。 私はそれが難しいことを知っていますが、私は非常に大きなデータセットを持っているので、それが少し簡単になることを願っています。 1時間ごとに、どのワーカーが作業しているか、どのくらいの作業が完了したかがわかります。その情報から、誰が最も多くの仕事をしているのかを知りたいのです。 データがJSON形式の場合、次のようになります。 [ { "work_done": 12345, "Workers": [ "andy", "bob", "cameron", "david" ] }, { "work_done": 432, "Workers": [ "steve", "joe", "andy"] }, { "work_done": 59042, "Workers": [ "bob", "aaron", "michelle", "scott", "henry" ] }, ... ]

1
線形回帰モデルの信頼区間と予測区間
さて、私は線形回帰を理解しようとしています。私はデータセットを持っていますが、それはすべて大丈夫に見えますが、私は混乱しています。これは私の線形モデルの要約です: Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 0.2068621 0.0247002 8.375 4.13e-09 *** temp 0.0031074 0.0004779 6.502 4.79e-07 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 0.04226 on 28 degrees of freedom Multiple R-squared: 0.6016, Adjusted R-squared: 0.5874 …
9 r  regression 

1
観測されたイベントと期待されたイベントを比較する方法は?
4つの可能なイベントの頻度の1つのサンプルがあるとします。 Event1 - 5 E2 - 1 E3 - 0 E4 - 12 そして、私は自分のイベントの発生が予想される確率を持っています: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 4つのイベントの観測頻度の合計(18)を使用して、イベントの予想頻度を計算できますか? expectedE1 - 18 * 0.2 = 3.6 expectedE2 - 18 * 0.1 = 1.8 expectedE1 - 18 * 0.1 = 1.8 expectedE1 - …
9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

4
ノンパラメトリック回帰を使用するのはいつですか?
SASでPROC GLMを使用して、次の形式の回帰方程式を当てはめています Y= b0+ b1バツ1+ b2バツ2+ b3バツ3+ b4tY=b0+b1バツ1+b2バツ2+b3バツ3+b4t Y = b_0 + b_1X_1 + b_2X_2 + b_3X_3 + b_4t 結果の赤残差のQQプロットは、正規性からの逸脱を示します。変換は、残差を正規化するのに役立ちません。YYY この時点で、PROC LOESSなどのノンパラメトリックメソッドに安全に切り替えられますか? 私はすでにPROC LOESSを使用しており、PROC GLMよりフィット感が良く見えます。しかし、私はノンパラメトリック回帰についてはあまり知識がありません。パラメトリック回帰よりもノンパラメトリック回帰をいつ選択するかわかりません。 誰かがこれを手伝ってくれる? 先に進み、別の質問を追加します。以下は、モデル内の変数の説明です。 時々、負の予測コストを受け取ります。これは意味がありません。この問題にどのように対処できますか?Y= 医療費バツ1= 注射回数バツ2= 手術の数バツ3= 理学療法の数t = 時間Y=医療費バツ1=注射回数バツ2=手術の数バツ3=理学療法の数t=時間 Y =\text{cost of medical care}\\ X_1 =\text{number of injections}\\ X_2 =\text{number of surgeries}\\ X_3 =\text{number of …

3
ピアソンの相関と線形回帰によるボンフェローニ補正
私は5つのIV(5つの性格特性、外向性、快適さ、良心、神経症、開放性)について、PCTに対する態度、CBTに対する態度、PCTに対する態度、CBTに対する統計を実行しています。他にどのような影響があるかを確認するために、年齢と性別も追加しました。 私は、性格特性がDVの態度を予測できるかどうかをテストしています。 私は最初にすべての変数にピアソンの相関を使用しました(45テスト)。 主な発見は、外向性がPCTの態度とp = 0.05で相関していたことでした。しかし、45のテストを実行していたため、アルファ= 0.05 / 45 = 0.001のボンフェローニ補正を実行したため、この結果は重要ではありません。 その後、すべての変数に対して単純な線形回帰を実行しましたが、PCTに対する態度では外向性が有意でした。ボンフェローニ修正を行うと、これは重要ではなくなります。 質問: ピアソンの相関でボンフェローニを修正する必要がありますか? 私がそうし、PCTへの態度を無視した外向性を作る場合、線形回帰を行うことにまだ意味がありますか? 線形回帰を行う場合、これについてもボンフェローニ補正を行う必要がありますか? 修正された値のみ、または修正されていない値と修正された値の両方を報告しますか?

2
一部の予測子は非常に異なるスケールにあります-線形回帰モデルを近似する前にそれらを変換する必要がありますか?
多次元データセットに対して線形回帰を実行したいと思います。次元の大きさに関しては、異なる次元間で違いがあります。たとえば、ディメンション1の値の範囲は通常[0、1]で、ディメンション2の値の範囲は[0、1000]です。 異なる次元のデータ範囲が同じスケールであることを確認するために変換を行う必要がありますか?もしそうなら、この種の変革のためのガイダンスはありますか?

1
座標を予測子とする回帰による空間トレンドのモデリング
データに存在する空間トレンドを調整するために、回帰方程式に共変量として座標を含める予定です。その後、ランダム変動の空間自己相関の残差をテストしたいと思います。いくつか質問があります。 独立変数のみが座標と座標である線形回帰を実行してから、空間自己相関の残差をテストする必要がありますか、それとも共変量として座標だけでなく他の変数も含めてから残差をテストする必要があります。yxxxyyy 二次傾向があると予想し、だけでなく、、、も含める場合、それらの一部(および)は、値がしきい値- より大きな値を持つ変数を重要ではないものとして除外する必要がありますか?次に、傾向をどのように解釈すればよいでしょうか?これは確かにもう二次式ではありませんか?x y x 2 y 2 x y y 2 p px,yx,yx,yxyxyxyx2x2x^2y2y2y^2xyxyxyy2y2y^2pppppp 私は座標と座標を他の共変量と同様に扱い、部分残差プロットを作成して従属変数との線形関係をテストする必要があると思いますが、一度変換すると(変換が必要であることがわかった場合)、それはできませんそのような傾向になります(特に、次傾向の、およびを含める場合)。これは、ことを示していることがあり一方で、例えば、変換を必要としないか、そうですか?これらの状況でどのように対応すべきですか?y x y x 2 y 2 x 2 xxxxyyyxyxyxyx2x2x^2y2y2y^2x2x2x^2xxx ありがとうございました。

2
混合モデルのパラメトリック、セミパラメトリック、ノンパラメトリックブートストラップ
以下の移植片は、この記事から引用したものです。私はブートストラップの初心者であり、R bootパッケージを使用した線形混合モデルのパラメトリック、セミパラメトリック、ノンパラメトリックのブートストラップブートストラップを実装しようとしています。 Rコード これが私のRコードです: library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) boot.fn <- function(data, indices){ data <- data[indices, ] mod <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=data) fixef(mod) } set.seed(12345) Out <- boot(data=Cultivation, statistic=boot.fn, R=99) Out ご質問 …
9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography 

3
ランダムフォレスト回帰における応答分布依存バイアス
RのrandomForestパッケージ(Rバージョン2.13.1、randomForestバージョン4.6-2)を回帰に使用していて、結果に大きなバイアスがあることに気付きました。予測エラーは応答変数の値に依存しています。高い値は予測不足であり、低い値は予測過剰です。最初はこれが私のデータの結果であると疑いましたが、次の簡単な例は、これがランダムフォレストアルゴリズムに固有であることを示唆しています。 n = 1000; x1 = rnorm(n, mean = 0, sd = 1) response = x1 predictors = data.frame(x1=x1) rf = randomForest(x=predictors, y=response) error = response-predict(rf, predictors) plot(x1, error) バイアスは応答の分布に依存していると思います。たとえば、x1均一に分布している場合、バイアスはありません。場合x1指数関数的に分布され、バイアスは片側です。基本的に、正規分布の裾での応答の値は異常値です。モデルが外れ値を予測するのが難しいのは当然のことです。randomForestの場合、分布の裾からの極端な大きさの応答値は最終的にリーフに到達する可能性が低くなり、その効果はアンサンブル平均では洗い流されます。 前の例「R線形回帰の尾のランダムフォレストmtry」でこの効果をキャプチャしようとしたことに注意してください。これは悪い例でした。上記の例のバイアスがアルゴリズムに本当に固有のものである場合、予測しようとしている応答分布を前提としてバイアス補正を定式化でき、より正確な予測が得られます。 ランダムフォレストなどのツリーベースの方法は、応答分布バイアスの影響を受けますか?もしそうなら、これは以前に統計コミュニティーに知られていますか、そしてそれは通常どのように修正されますか(例えば、バイアスされたモデルの残差を入力として使用する2番目のモデル)? 本来、応答は不明であるため、応答依存バイアスの修正は困難です。残念ながら、推定/予測応答はバイアスと同じ関係を共有しないことがよくあります。

1
予測変数が欠落している重回帰
(y、x1、x2、⋯ 、xん)(y、バツ1、バツ2、⋯、バツん)(y,x_{1},x_{2},\cdots, x_{n})との形式のデータセットが与えられたとします(y、x1、x2、⋯ 、xn − 1)(y、バツ1、バツ2、⋯、バツん−1)(y,x_{1},x_{2},\cdots, x_{n-1})。xの値に基づいてyyyを予測するタスクが与えられます。:我々は2つの回帰どこ見積もり yとバツバツxyy= f1(x1、⋯ 、xn − 1、xん)= f2(x1、⋯ 、xn − 1)(1)(2)(1)y=f1(バツ1、⋯、バツん−1、バツん)(2)y=f2(バツ1、⋯、バツん−1) \begin{align} y &=f_{1}(x_{1},\cdots, x_{n-1}, x_{n}) \tag{1} \\ y &=f_{2}(x_{1},\cdots, x_{n-1}) \tag{2} \end{align} 我々はまた、の値を予測する回帰推定の値に基づいて、(X 1、⋯ 、X N - 1):であり、 X N =をfを3(X 1、⋯ 、X N - 1)バツんバツんx_{n}(x1、⋯ 、xn − 1)(バツ1、⋯、バツん−1)(x_{1},\cdots, x_{n-1})バツん= f3(x1、⋯ 、xn − 1)(3)(3)バツん=f3(バツ1、⋯、バツん−1) …

2
回帰モデルを使用して予測を行う:いつ停止するか?
予測を行うために、実験測定から単純な線形回帰モデルを計算しました。利用可能なデータから離れすぎているポイントの予測は計算しないでください。しかし、どこまで外挿できるかを知るのに役立つガイダンスは見つかりませんでした。たとえば、ディスクサイズが50GBの場合の読み取り速度を計算すると、結果は現実に近いものになると思います。100GB、500GBのディスクサイズはどうですか?私の予測が現実に近いかどうかはどうすればわかりますか? 私の実験の詳細は次のとおりです。 異なるディスクサイズを使用してソフトウェアの読み取り速度を測定しています。これまでのところ、実験間で5GBのディスクサイズを増やして(合計6メジャー)、5GBから30GBで測定しました。 私の意見では、結果は直線的で、標準誤差は小さいと思います。

3
auto.arimaはstdエラーで生成されたNaNに警告します
私のデータは、雇用人口の時系列Lと期間、年です。 n.auto=auto.arima(log(L),xreg=year) summary(n.auto) Series: log(L) ARIMA(2,0,2) with non-zero mean Coefficients: ar1 ar2 ma1 ma2 intercept year 1.9122 -0.9567 -0.3082 0.0254 -3.5904 0.0074 s.e. NaN NaN NaN NaN 1.6058 0.0008 sigma^2 estimated as 1.503e-06: log likelihood=107.55 AIC=-201.1 AICc=-192.49 BIC=-193.79 In-sample error measures: ME RMSE MAE MPE MAPE -7.285102e-06 1.225907e-03 9.234378e-04 -6.836173e-05 …
9 r  regression  arima 

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.