タグ付けされた質問 「regression」

私は最小二乗回帰問題で正則化を使用できることを理解しています w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] そして、この問題は次のような閉じた形の解決策を持っています： w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. 2番目の方程式では、正則化はX T Xの対角にを追加するだけであることがわかります。これは、行列反転の数値的安定性を改善するために行われます。λλ\lambdaXTXXTX\boldsymbol{X}^T\boldsymbol{X} 数値の安定性に関する私の現在の「粗末な」理解は、関数がより「数値的に安定」すると、その出力はその入力のノイズの影響をあまり受けなくなるということです。数値安定性の向上というこの概念を、過剰適合の問題をどのように回避/軽減するかという全体像に関連付けるのが困難です。 私はウィキペディアや他のいくつかの大学のウェブサイトを見てみましたが、彼らはなぜこれがそうなのかを深く説明していません。

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

生存分析を行う不適切な方法のために拒否された記事を提出しました。レフェリーは、「時間の傾向に関する生存分析には、より洗練された検閲方法が必要です。」以外の詳細や説明は残していません。 質問： 喫煙者の過剰な死亡リスクは過去数十年で減少しましたか？ データ： ドイツでは25,000人の喫煙者。彼らは1995年から2014年の間にいつでもコホートに登録されました。各喫煙者は（登録時に）一般集団（喫煙しなかった）からの性別と年齢が一致したコントロールに一致しています。研究期間全体で亡くなったすべての人には、正確な死の時間があります。フォローアップ中に死亡しなかった人は検閲されます。この研究は、1995年から2014年まで喫煙者の過剰な死亡リスクを毎年調査するために利用されています。 目的は次の計算です。 喫煙者と非喫煙者の死亡率を毎年調べ、これらの傾向を調べる 毎年（または数年連続）の喫煙者の過剰死亡リスク。 データはどのように分析されるべきですか？1998年に含まれている誰かが2015年に死ぬかもしれないことを思い出してください。開始と停止のカウントプロセスフォーマットを使用する正しいアプローチは毎年更新されますか？ これはレフェリーが嫌ったアプローチです： 発生率はポアソン回帰によって計算されました。モデルのオフセットとしてフォローアップ時間を含め、モデルの予測子として年齢、性別、喫煙状況、およびカレンダー期間（2つの連続した年を組み合わせたもの）を含めました。次に、Rのpredict（）関数を使用して、1000人年あたりの率を計算しました。オフセット（フォローアップ時間）は、登録からの全観察時間（日）でした。 Coxモデルを使用して、研究の開始から終了までの各期間における喫煙者の相対リスクを推定しました。簡単にするために、最初の期間のハザード比を最後の期間のハザード比と比較しました。 問題：-（彼のコントロールと共に）人は1998年に含まれている可能性があり、そのためそのカレンダーグループに属しているが、2006年にはイベントに苦しんでいる。コックスのカウントプロセス？開始時間と停止時間は何ですか？-この状況でトレンドをどのように評価できますか？ いくつかの説明：患者が1998年6月15日に最初に観察され、1998年12月31日のイベントを経験したとしましょう。この患者の時間変数の値は、期間が2年続くため、730日のうち182.5です。各期間の最大観測時間は730日です。 ある期間に患者が観察されたが、別の期間に打ち切られた（つまり、経験とイベントのいずれかまたは脱落した）場合、観察された日数を次の期間に追加する必要がありますか？ したがって、主な問題は、フォローアップ時間と暦年（2つの連続する年で構成されるカテゴリ変数として使用される）の処理です。

10 regression  survival  incidence-rate-ratio  interval-censoring 

OLS回帰のに関する非常に基本的な質問R2R2R^2 OLS回帰y〜x1を実行します、たとえば0.3です。R2R2R^2 OLS回帰y〜x2を実行します。別の、たとえば0.4です。R2R2R^2 ここで、回帰y〜x1 + x2を実行します。この回帰のR二乗はどのような値になりますか？ 重回帰のが0.4以上であることは明らかだと思いますが、0.7を超えることは可能ですか？R2R2R^2

10 regression  multiple-regression  least-squares  r-squared 

ベイジアン線形回帰の事後予測分布を、3ページのここで説明した基本的なケースを超えて評価し、以下にコピーする方法に混乱しています。 p （y〜∣ y）= ∫p （y〜| β、σ2）p （β、σ2∣ y）p(y~∣y)=∫p(y~∣β,σ2)p(β,σ2∣y) p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y) 基本的なケースは次の線形回帰モデルです。 y= Xβ+ ϵ 、y〜N（Xβ、σ2）y=Xβ+ϵ,y∼N(Xβ,σ2) y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \sigma^2) で均一な事前分布、でscale-Inv事前分布、または正規逆ガンマ事前分布（ここを参照）を使用する場合、事後予測分布は分析的であり、学生tです。 χ 2 σ 2ββ\betaχ2χ2\chi^2σ2σ2\sigma^2 このモデルについてはどうですか？ y= Xβ+ ϵ …

10 regression  bayesian  predictive-models  prediction  posterior 

相関関係のない1,449データポイントのサンプルがあります（r二乗0.006）。 データを分析したところ、独立変数の値を正と負のグループに分割すると、各グループの従属変数の平均に有意差があるように見えました。 独立変数値を使用してポイントを10ビン（十分位数）に分割すると、十分位数と平均従属変数値（r-2乗0.27）の間に強い相関があるようです。 私は統計についてあまり知らないので、ここにいくつかの質問があります： これは有効な統計的アプローチですか？ 最適な数のビンを見つける方法はありますか？ このアプローチの適切な用語は何ですか。 このアプローチについて学ぶためのいくつかの紹介リソースは何ですか？ このデータの関係を見つけるために使用できる他の方法は何ですか？ 参照用の十分位数データは次のとおりです。https：//gist.github.com/georgeu2000/81a907dc5e3b7952bc90 編集：これはデータの画像です： 業界の勢いは独立変数であり、エントリーポイントの品質は依存しています

10 regression  correlation  linear-model  r-squared 

私はこの投稿を見つけました： はい。係数は、順序予測子の変化の増分ごとの対数オッズの変化を反映します。この（非常に一般的な）モデル仕様では、予測子がその増分全体で線形的な影響を与えると想定しています。仮定をテストするために、順序変数を単一の予測子として使用するモデルと、応答を離散化して複数の予測子として処理するモデルを比較できます（変数が名目である場合と同様）。後者のモデルの結果が大幅に良くならない場合は、各増分を線形効果があるものとして扱うのが妥当です。 – @ dmk38 10年12月12日5:21 この主張を裏付ける公開されたものをどこで見つけられるか教えていただけませんか？私はデータを使用していますが、ロジスティック回帰で順序独立変数を使用したいと考えています。

10 regression  logistic  references  ordinal-data 

Robert KabacoffのQuick-Rから # Bootstrap 95% CI for regression coefficients library(boot) # function to obtain regression weights bs <- function(formula, data, indices) { d <- data[indices,] # allows boot to select sample fit <- lm(formula, data=d) return(coef(fit)) } # bootstrapping with 1000 replications results <- boot(data=mtcars, statistic=bs, R=1000, formula=mpg~wt+disp) # view …

10 r  regression  p-value  bootstrap 

私は、DV（病気：はい/いいえ）と5つの予測因子（人口統計[年齢、性別、喫煙（はい/いいえ）]、医療指標（通常）、1つのランダムな処理[はい/いいえ]のバイナリロジスティック回帰モデルを持っています]）。また、すべての両側相互作用項をモデル化しました。主な変数は中央に配置され、多重共線性の兆候はありません（すべてのVIF <2.5）。 いくつか質問があります。 ブートストラップは私の単一のモデルよりも有利ですか？もしそうなら、 どのブートストラップモデルを選択すればよいですか？私は、ブートストラップアルゴリズムが新しいサンプルを作成するためのランダムな方法に従っているかどうか、または厳密なアルゴリズムがあるかどうかを確認したかっただけです。したがって、私は各試行で1000回リサンプリングしました（そのため、ブートストラップされたモデルがいくつかあり、それぞれに1000回の試行があります）。ただし、ブートストラップモデルの係数は毎回異なります（ただし、試行回数は常に1000です）。だから私は私のレポートのためにどちらを選ぶべきかと思いますか？一部の変更はわずかであり、係数の有意性に影響を与えませんが、一部の係数は重要ではなくなります（たとえば、元のモデルで0.05に近いP値が0.06に変化するもののみ）。 10,000のようなより大きな数を選択する必要がありますか？この制限をどのように決定できますか？ ここでも、最初にブートストラップする必要がありますか？結果が毎回異なる場合、その結果を信頼できますか？ 私のケースで私を助けることができる他の考えを覚えていますか？ 大変感謝します。

10 regression  logistic  multiple-regression  bootstrap 

Rに離散時間モデルを適合させようとしていますが、その方法がわかりません。 従属変数を時間監視ごとに1つずつ異なる行に編成し、glm関数をlogitまたはcloglogリンクで使用できることを読みました。この意味で、私は3つの列があります：ID、Event（各time-obsで1または0）およびTime Elapsed（観測の開始以降）、および他の共変量。 モデルに合うようにコードを書くにはどうすればよいですか？従属変数はどれですか？Event従属変数として使用できTime Elapsed、共変量に含めることができると思います。しかし、どうなりIDますか？必要ですか？ ありがとう。

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

リッジ回帰はとして表すことができますここで、は予測ラベルです、、行列を識別我々はのためのラベルを見つけようとしているオブジェクト、そしての行列オブジェクトように：y^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}xy^y^\hat{y}IdId\mathbf{I}_dd×dd×dd \times dxx\mathbf{x}XX\mathbf{X}n×dn×dn \times dnnnxi=(xi,1,...,xi,d)∈Rdxi=(xi,1,...,xi,d)∈Rd\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d X=⎛⎝⎜⎜⎜⎜⎜x1,1x2,1⋮xn,1x1,2x2,2⋮x1,2……⋱…x1,dx2,d⋮xn,d⎞⎠⎟⎟⎟⎟⎟X=(x1,1x1,2…x1,dx2,1x2,2…x2,d⋮⋮⋱⋮xn,1x1,2…xn,d) \mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix} これを次のようにカーネル化できます：y^=(K+aId)−1ky^=(K+aId)−1k\hat{y} = (\mathbf{\mathcal{K}} + …

10 regression  ridge-regression  kernel-trick 

、、 3つの時系列があるとします。X1X1X_1X2X2X_2YYY 上で通常の線形回帰を実行している〜（）、我々が得る。通常の線形回帰〜X_2を取得R ^ 2 = Vを。U &lt;Vと仮定YYYX1X1X_1Y=bX1+b0+ϵY=bX1+b0+ϵY = b X_1 + b_0 + \epsilonR2=UR2=UR^2 = UYYYX2X2X_2R2=VR2=VR^2 = VU&lt;VU&lt;VU < V 最小値と最大値の可能な値何R2R2R^2回帰のYYY〜X1+X2X1+X2X_1 + X_2（Y=b1X1+b2X2+b0+ϵY=b1X1+b2X2+b0+ϵY = b_1 X_1 + b_2 X_2 + b_0 + \epsilon）は？ 新しい変数を追加すると常にR ^ 2が増加するため、最小R2R2R^2はVVV +小さな値である必要があると思いますが、この小さな値を定量化する方法がわからず、最大範囲を取得する方法もわかりません。R2R2R^2

10 regression  multiple-regression  r-squared 

複数のグループ（自然なグループが事前に定義されたもの）の線形回帰の場合、次の2つの質問に答えるために、同じデータセットで2つの異なるモデルを実行することは許容できますか？ 各グループには非ゼロの勾配と非ゼロの切片がありますか？グループ回帰内の各パラメーターは何ですか？ グループメンバーシップに関係なく、非ゼロの傾向と非ゼロの切片はありますか？グループ全体の回帰のパラメーターは何ですか？ Rでは、最初のモデルはでありlm(y ~ group + x:group - 1)、推定された係数は各グループの切片と勾配として直接解釈できます。2番目のモデルはですlm(y ~ x + 1)。 代替案はlm(y ~ x + group + x:group + 1)、であり、これにより、係数の複雑な要約表が得られ、グループ内の勾配と切片は、いくつかの参照からの勾配と切片の差から計算する必要があります。また、最後のグループの差異（場合によっては）のp値を取得するために、グループを並べ替えてモデルをもう一度実行する必要があります。 これは2つの別個のモデルを使用して、推論に何らかの悪影響を及ぼしますか、またはこの標準的な方法に悪影響を及ぼしますか？ これをコンテキストに入れるために、xを薬物の投与量と見なし、グループを異なる人種と見なします。医師の特定の人種、または薬剤が効く人種の用量反応関係を知ることは興味深いかもしれませんが、（ヒト）母集団全体の用量反応関係を知ることも興味深い場合があります公衆衛生担当官の人種に関係なく。これは、グループ内とグループ全体の両方の回帰に個別に関心を持つ方法の単なる例です。用量反応関係が線形であるべきかどうかは重要ではありません。

10 r  regression  multiple-comparisons  inference  ancova 

これは私が何度か遭遇した例にすぎないため、サンプルデータはありません。Rで線形回帰モデルを実行する： a.lm = lm(Y ~ x1 + x2) x1は連続変数です。x2カテゴリ型で、「低」、「中」、「高」の3つの値があります。ただし、Rによって与えられる出力は次のようになります。 summary(a.lm) Estimate Std. Error t value Pr(&gt;|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 私は、Rがそのような要因（要因x2であること）に何らかのダミーコーディングを導入していることを理解しています。私はただ疑問に思っていx2ます。「高」の値をどのように解釈しますか？たとえば、ここで示した例の「High」x2は応答変数にどのような影響を与えますか？ これの例を他の場所（例：ここ）で見ましたが、理解できる説明は見つかりませんでした。

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

階層構造を持つ高次元のグループ化されたデータ（50の数値入力変数）でランダムフォレストを使用しています。データは、70の異なるオブジェクトの30の位置で6つの複製を使用して収集され、独立していない12600のデータポイントが得られました。 oobエラーは、トレーニング中に1つのオブジェクトのデータを除外し、トレーニングされたランダムフォレストで除外されたオブジェクトの結果を予測するときに発生するエラーよりもはるかに小さいため、ランダムフォレストはデータに適合しているようです。さらに、私は残差を関連付けました。 ランダムフォレストは独立したデータを期待しているため、過剰適合が発生していると思います。ランダムフォレストにデータの階層構造を伝えることはできますか？または、強力な相互作用構造を持つ高次元のグループ化されたデータを処理できる別の強力なアンサンブルまたは縮小方法はありますか？ 私がもっと上手にできる方法についてのヒントはありますか？

10 regression  random-forest 

lm（）ベースのモデルを更新して、正しい標準エラーとテストを取得しようとしています。どのVCマトリックスを使用するか本当に混乱しています。sandwichパッケージの提供vcovHC、vcovHACおよびNeweyWest。前者は異分散性のみを考慮しますが、後者2つは系列相関と異分散性の両方を考慮します。しかし、ドキュメントには後者の2つの違いについてはあまり説明されていません（少なくとも私にはわかりません）。関数自体を見ると、NeweyWestが実際にvcovHACを呼び出していることがわかりました。 経験的結果coeftest(mymodel, vcov. = vcovHAC)とはcoeftest(mymodel, vcov. = NeweyWest)異なる怒っています。vcovHACナイーブlmの結果に多少近いものの、NeweyWestを使用すると、すべての係数は重要ではなくなります（テストは1に近くても）。

10 regression  time-series  neweywest