タグ付けされた質問 「regression」

単純な線形モデル： ε T N （0 、σ 2）X = α T + εtx=αt+ϵtx=\alpha t + \epsilon_t 〜IIDεtϵt\epsilon_tN（0 、σ2）N(0,σ2)N(0,\sigma^2) とV R （X ）= σ 2E（X ）= α TE(x)=αtE(x) = \alpha tVa r （x ）= σ2Var(x)=σ2Var(x)=\sigma^2 AR（1）： ε T N （0 、σ 2）バツt= α Xt − 1+ ϵtXt=αXt−1+ϵtX_t =\alpha X_{t-1} + \epsilon_t場合 〜IIDεtϵt\epsilon_tN（0 …

11 regression  stochastic-processes  autoregressive  deterministic 

のmgcvパッケージにRは、テンソル積の相互作用をフィッティングするための2つの関数がte()ありti()ます。私は2つの作業の基本的な分業を理解しています（非線形の相互作用を当てはめるか、この相互作用を主効果と相互作用に分解するか）。私が理解していないのは、なぜte(x1, x2)、そしてti(x1) + ti(x2) + ti(x1, x2)（わずかに）異なる結果を生成するのかということです。 MWE（から適応?ti）： require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f + rnorm(n)*0.2 par(mfrow = c(2,2)) # …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

完全な開示：私は統計学者ではありません。私はあまりIT管理者ではありません。私と優しく遊んでください。:) 私は、企業のディスクストレージの使用量を収集および予測する責任があります。ストレージの使用量は毎月収集され、予測には単純なローリング12か月の線形回帰が使用されます（つまり、予測を行う際には、過去12か月のデータのみが考慮されます）。たとえば、「このモデルに基づいて、ニーズを満たすためにyか月以内に保管する場合はxの金額を購入する必要があります」など、この情報を割り当てと資本支出の計画に使用します。これはすべて、私たちのニーズに合わせて十分に機能します。 定期的に、予測をスローする数字の大きな一時的な動きがあります。たとえば、誰かが不要になった500 GBの古いバックアップを見つけて削除したとします。スペースを取り戻すために彼らのために良い！しかし、私たちの予測は現在、この1か月の大幅な下落によって大きく歪んでいます。このような低下がモデルから抜け出すには9〜10か月かかることを常に受け​​入れてきましたが、資本支出計画のシーズンに入った場合、それは本当に長い時間になる可能性があります。 これらの1回限りの変動を処理して、予測値がそれほど影響を受けない（たとえば、ラインの傾きがそれほど大きく変化しない）方法を考えていますが、それらは考慮されています（たとえば特定の時点に関連するy値の1回限りの変化）。これに取り組む私たちの最初の試みは、いくつかの醜い結果をもたらしました（例えば、指数関数的成長曲線）。必要に応じて、SQL Serverですべての処理を行います。

11 regression  forecasting  adjustment 

ロジスティック回帰における連続変数のオッズ比の解釈について、いくつか質問がありました。これらはロジスティック回帰に関する基本的な質問だと思います（おそらく一般的な回帰に関する質問です）。答えがわからないのは少し恥ずかしいのですが、自分のプライドを飲み込んで質問するので、未来！ これが私の状況です...私は、保護観察の一環として、職業生活のスキルトレーニングプログラムに参加している、裁判にかけられた若者のサンプルを見ています。彼らがプログラムから解放された年齢が、プログラムから解放されてから6か月後の雇用をどの程度予測したかを見たかったのです。 （また、モデルには他の予測子があることを覚えておいてください。ただし、統計的に有意ではなく、これをできるだけ明確にしたいので、除外しました。） 予測因子：トレーニングプログラムからのリリースの年齢（平均年齢= 17.4、SD = 1.2、範囲14.3-20.5） 結果：雇用されているかどうか（雇用されている= 1、雇用されていない= 0） 結果：オッズ比3.01（p <.005）（オッズ比の解釈についてのみ回答を求めているので、適合度の統計などは除外しました。モデルの適合性、CIの評価で快適に感じています。 、など） 言葉で言えば、年齢が1歳増えると、退院後6か月間雇用される確率が3単位増えます。 質問： 1）「年齢が1年上がると…」と言うと、年齢の原点は何ですか？ 年齢はゼロから始まりますか？たとえば、「年齢が0から増加するにつれて（つまり、このモデルをグラフに配置した場合の最低年齢）...」 年齢は、サンプルの年齢範囲の中で最も低い年齢から始まりますか？たとえば、「年齢が14.3から上がるにつれて...」 または 年齢はサンプルの平均年齢から始まりますか？たとえば、「年齢が17.4から増加するにつれて...」、 2）センタリングはこの結果を解釈するのに役立ちますか、それともy-intの解釈にのみ効果がありますか？それが役立つ場合、サンプルの他のすべての年齢から範囲内の最低年齢を中心にするか、または差し引くことを意味することを考えていました。助言がありますか？ 3）最後に、14歳の若者と比較して、17歳の若者は9倍雇用される可能性が高いと言えますか？私は、ロジスティック回帰がS字型の関係を前提としていることを知っているので、この3単位のオッズの増加が回帰直線に沿った任意の点で一貫しているのかどうか知りたいので、質問します。 本当にありがとう！ アーロン

11 regression  logistic 

そのようなデータに適したSVRを見つけようとしています。 私は4種類のSVRを知っています。 イプシロン ニュー 最小二乗と 線形。 リニアSVRは多かれ少なかれL1 Regの投げ縄に似ていますが、残りの3つのテクニックの違いは何ですか？

11 regression  svm 

回帰モデルがある場合： where and、Y= Xβ+ εY=Xβ+ε Y = X\beta + \varepsilon V [ε]=Id∈ Rn × nV[ε]=Id∈Rn×n\mathbb{V}[\varepsilon] = Id \in \mathcal{R} ^{n \times n}E [ε]=（0、…、0）E[ε]=(0,…,0)\mathbb{E}[\varepsilon]=(0, \ldots , 0) 使用するだろうというとき、通常の最小二乗推定量、推定のための貧しい人々の選択では？βOLSβOLS\beta_{\text{OLS}}ββ\beta 最小二乗法がうまく機能しない例を理解しようとしています。したがって、私は以前の仮説を満たしているが悪い結果をもたらすエラーの分布を探しています。分布のファミリーが平均と分散によって決定されるとしたら、それは素晴らしいことです。そうでなければ、それも大丈夫です。 「悪い結果」は少し漠然としていることは知っていますが、理にかなっていると思います。 混乱を避けるために、私は最小二乗法が最適ではなく、リッジ回帰のようなより良い推定量があることを知っています。しかし、それは私が目指していることではありません。最小二乗が不自然な例を挙げたいです。 エラーベクトルは非凸領域にあると想像できますが、それについてはよくわかりません。ϵϵ\epsilonRnRn\mathbb{R}^n 編集1：回答を助けるためのアイデアとして（これをさらに進める方法がわからない）。は青です。したがって、線形不偏推定量が適切でない場合を考えると役立つ場合があります。βOLSβOLS\beta_{\text{OLS}} 編集2：ブライアンが指摘したように、条件が悪い場合、分散が大きすぎるためは悪い考えであり、代わりにリッジ回帰を使用する必要があります。私は、最小二乗法をうまく機能させないために、どの分布がであるべきかを知ることに興味があります。XX′XX′XX'βOLSβOLS\beta_{\text{OLS}}εε\varepsilon βOLS∼β+(X′X)−1X′εβOLS∼β+(X′X)−1X′ε\beta_{\text{OLS}} \sim \beta+(X'X)^{-1}X'\varepsilonこの推定器を非効率にするゼロ平均と恒等分散行列のある分布はありますか？εε\varepsilon

11 regression  distributions  least-squares 

Rデータが対数正規分布またはパレート分布に適合しているかどうかを確認したい。どうすればできますか？おそらくks.test私はそれを行うのに役立つでしょうが、私のデータのパレート分布のおよびパラメータをどのように取得できますか？αα\alphakkk

11 r  regression  distributions  lognormal  pareto-distribution 

予測モデルにスムース/スプラインを使用するときに、新しいデータの予測がどのように行われるかについての概念的な説明を誰かが提供できますか？たとえば、R gamboostのmboostパッケージでp-スプラインを使用して作成されたモデルがある場合、新しいデータの予測はどのように行われますか？トレーニングデータから何が使用されますか？ 独立変数xの新しい値があり、yを予測するとします。モデルのトレーニング時に使用されるノットまたはdfを使用して、この新しいデータ値にスプライン作成の式が適用され、トレーニングされたモデルの係数が適用されて予測を出力しますか？ これはRの例です。新しいデータの平均値として899.4139を出力するために、概念的に何を予測しているのですかmean_radius = 15.99？ #take the data wpbc as example library(mboost) data(wpbc) modNew<-gamboost(mean_area~mean_radius, data = wpbc, baselearner = "bbs", dfbase = 4, family=Gaussian(),control = boost_control(mstop = 5)) test<-data.frame(mean_radius=15.99) predict(modNew,test)

11 regression  machine-learning  predictive-models  splines 

Elements of Statistical Learningを読んでいます。12ページ（セクション2.3）では、線形モデルは次のように表記されています。 Yˆ= XTβˆY^=XTβ^\widehat{Y} = X^{T} \widehat{\beta} ...ここで、は、予測子/独立変数/入力の列ベクトルの転置です。（これは、そうではない、このするであろう「全てのベクトルは列ベクトルであると仮定される」以前の状態X Tは、行ベクトルとβ列ベクトル？）バツTXTX^{T}バツTXTX^{T}βˆβ^\widehat{\beta} は「1」が含まれており、対応する係数と乗算されて（定数）切片が与えられます。バツXX111 それは続けて言う： 次元の入出力空間、（X 、Yは）超平面を表します。定数がXに含まれている場合、超平面は原点を含み、部分空間です。ない場合には、切断アフィン集合であるYは、点でγ軸 （0 、^ β 0）。（p + 1 ）(p+1)(p + 1)（X、Y ˆ）(X, Y^)(X,\ \widehat{Y})バツXXYYY（0 、β 0ˆ）(0, β0^)(0,\ \widehat{\beta_0}) 「」、インターセプトの「予測因子の連結によって形成されるベクトル記述1」とYを？そして、なぜ「を含めない1における」X「確かにいることを、原点を通過するように超平面を強制1」を掛けたことがある^ β 0？（X、Y ˆ）(X, Y^)(X,\ \widehat{Y})111YˆY^\widehat{Y}111バツXX111β0ˆβ0^\widehat{\beta_0} その本を理解できていない。リソースへのヘルプ/アドバイス/リンクは非常に高く評価されます。

11 regression  references  statistical-learning 

理論的には-225から+225の範囲にある応答変数をモデル化しようとしています。変数は、ゲームをプレイしたときに被験者が得た合計スコアです。理論的には、被験者が+225を獲得することは可能です。それにもかかわらず、スコアは被験者のアクションだけでなく別のアクションのアクションにも依存していたため、スコアの最大の誰もが125でした（これは、お互いにプレーしている2人のプレーヤーが両方ともスコアできる最高のスコアです）。これは非常に高い頻度で発生しました。最低スコアは+35でした。 この125の境界は、線形回帰で問題を引き起こしています。私が考えられる唯一のことは、応答を0と1の間になるように再スケーリングし、ベータ回帰を使用することです。+225をスコアリングできるので、これを行う場合、125がトップ境界（または変換後の1）であると本当に正当化できるかどうかはわかりません。さらに、これを行った場合、私の下部境界はどうなるでしょう35。 おかげで、 ジョナサン

11 regression  data-transformation  beta-distribution  bounds  beta-regression 

大規模な調査データ、バイナリ結果変数、およびバイナリと連続を含む多くの説明変数があります。私はモデルセット（GLMと混合GLMの両方で実験）を構築し、情報理論的アプローチを使用して最上位モデルを選択しています。説明（連続およびカテゴリの両方）について相関関係を注意深く調べ、ピアソンまたはフィコール係数が0.3未満の同じモデルの説明のみを使用しています。すべての連続変数に、最上位モデルと競合するための公正な機会を与えたいと思います。私の経験では、必要なものをスキューに基づいて変換すると、それらが参加するモデルが改善されます（AICが低下します）。 私の最初の質問は次のとおりです。変換はロジットの線形性を改善するため、この改善はありますか？または、スキューを修正することで、データをより対称にすることで、説明変数のバランスがどういうわけか改善されますか？私はこれの背後にある数学的理由を理解したいと思いますが、今のところ、誰かがこれを簡単な言葉で説明できればそれは素晴らしいでしょう。私が使用できる参照があれば、私はそれを本当に感謝します。 多くのインターネットサイトでは、正規性はバイナリロジスティック回帰の仮定ではないため、変数を変換しないでください。しかし、変数を変換しないことにより、他のものと比較して不利な点を残し、トップモデルが何であるかに影響を与え、推論を変更する可能性があると感じています（まあ、通常はそうではありませんが、一部のデータセットではそうです）。いくつかの変数は、対数変換された場合、2乗された場合（スキューの方向が異なる場合）、および一部が変換されない場合にパフォーマンスが向上します。 ロジスティック回帰の説明変数を変換するときに注意すべき点をガイドラインで教えてもらえますか。それができない場合は、なぜそうしないのですか？

11 regression  logistic  data-transformation  skewness 

私のデータの残差の奇妙なパターンを観察しています： [編集] 2つの変数の部分回帰プロットを次に示します。 [編集2] PPプロットを追加 ディストリビューションは順調に進んでいるようですが（下記参照）、この直線がどこから来ているのかわかりません。何か案は？ [更新31.07] 確かに、あなたは完全に正しいことがわかりました。私は、リツイート数が実際に0であるケースがあり、これらの〜15のケースは、これらの奇妙な残差パターンをもたらしました。 残差はずっと良く見えます： 黄土の線を含む部分回帰も含めました。

11 regression  multiple-regression  residuals  diagnostic 

クックの距離の式が何か知っている人はいますか？元のクックの距離式はスチューデント化された残差を使用していますが、Rがstdを使用するのはなぜですか。GLMのクックの距離プロットを計算するときのピアソン残差。学習した残差がGLMに対して定義されていないことは知っていますが、クックの距離を計算する式はどのように見えますか？ 次の例を想定します。 numberofdrugs <- rcauchy(84, 10) healthvalue <- rpois(84,75) test <- glm(healthvalue ~ numberofdrugs, family=poisson) plot(test, which=5) クックの距離の式は何ですか？言い換えれば、赤い破線を計算する式は何ですか？そして、標準化されたピアソン残差のこの式はどこから来たのですか？

11 r  regression  generalized-linear-model  residuals  cooks-distance 

線形回帰を実行したところ、有意な結果が得られましたが、散布図の線形性をチェックしたところ、データが線形であると確信が持てませんでした。 散布図を調べずに直線性をテストする他の方法はありますか？ 線形でなかった場合、線形回帰は重要ですか？ [散布図を含むように編集]

11 regression 

私は機械学習/データサイエンスを勉強している物理学の学生なので、この質問が対立を開始することを意味しません:)ただし、物理学部のプログラムの大部分は、ラボ/実験を行うことであり、これは大量のデータを意味します処理と統計分析。しかし、物理学者がデータを処理する方法と、私のデータサイエンス/統計学習ブックがデータを処理する方法との間には、はっきりとした違いがあることに気づきました。 主な違いは、物理実験から得られたデータに回帰を実行しようとすると、回帰アルゴリズムがWHOLEデータセットに適用され、トレーニングセットとテストセットに分割されることがまったくないことです。物理の世界では、R ^ 2または何らかのタイプの疑似R ^ 2が、データセット全体に基づいてモデルに対して計算されます。統計の世界では、データはほとんどの場合80-20、70-30などに分割され、モデルはテストデータセットに対して評価されます。 このデータ分割を決して行わないいくつかの主要な物理実験（ATLAS、BICEP2など）もあるので、物理学者/実験家が統計を行う方法とデータ科学者が行う方法との間に、なぜそんなに頑固な違いがあるのだろうと思います。統計を行います。

11 regression  machine-learning  cross-validation  dataset  experiment-design