タグ付けされた質問 「regression-coefficients」

トレーニング、検証、テストセットを使用して回帰を行っているとします。ソフトウェアの出力（Rのlm（）関数など）からRMSEとRの2乗（R ^ 2、決定係数）を見つけることができます。 私の理解では、テストRMSE（またはMSE）は検証/テスト値の予測の良さの尺度であり、R ^ 2はトレーニングセットの分散をキャプチャする際の適合度の尺度です。 現実の世界で私が本当に気にかけているのは、私が見たことのないデータの一般化された予測精度です。それでは、RMSEと比較したR ^ 2値の有用性は何ですか？

11 r  regression  regression-coefficients  r-squared 

それらの違いを知りたいです。基本的に、それらは最後にパラメーターの係数を見つけるときに同じ仕事をしますが、係数を見つける方法が異なるだけです。私にとって、最小二乗法は微分と行列形式を使用して係数を見つけ、疑似逆行列は行列操作のみを使用しているようですが、それらの違いをどのように言えますか？またはまったく違いはありませんか？

11 regression  multiple-regression  least-squares  regression-coefficients 

[同様の質問がここで行われ、回答はありませんでした] L1正則化（Lassoロジスティック回帰）を使用してロジスティック回帰モデルを適合させ、適合した係数の有意性をテストし、p値を取得したいと考えています。Waldのテスト（たとえば）が正則化なしの完全回帰で個々の係数の有意性をテストするオプションであることは知っていますが、Lassoでは、通常のWaldの公式を適用できない問題がさらに発生すると思います。たとえば、検定に必要な分散推定は、通常の式に従いません。元のなげなわ紙 http://statweb.stanford.edu/~tibs/lasso/lasso.pdf 係数の分散を推定するためのブートストラップベースの手順を提案します。これも（やはり、私は）テストに必要になる可能性があります（セクション2.5、ページ272の最後の段落と273の最初）： 1つのアプローチは、ブートストラップを使用することですを修正するか、ブートストラップサンプルごとにを最適化することができます。修正することは、（機能の）最良のサブセットを選択し、そのサブセットの最小二乗標準誤差を使用することに類似していますt tttttttttt 私が理解していることは、正則化パラメーターの最適値（これはブートストラップの一部ではない）が見つかるまでLasso回帰をデータセット全体に繰り返し当てはめ、次にLassoによって選択された機能のみを使用してOLS回帰をサブサンプルに当てはめるデータの計算を行い、通常の式を適用して、それらの各回帰からの分散を計算します。（そして、各係数の最終的な分散の推定値を取得するために、各係数のそれらすべての分散をどうすればよいですか？） さらに、通常の有意性検定（たとえば、推定されたベータと分散を使用するWaldの検定）を、係数のLasso推定とブートストラップ推定の分散で使用することは正しいですか？私はそれがそうではないと確信していますが、どんな助け（別のテストを使うか、もっと簡単なアプローチを使うか、何でも...）は歓迎以上のものです。 ここでの回答によると、推論とp値が得られないのではないかと思います。私の場合、p値は外部要件です（ただし、L1正則化の使用が私の選択でした）。 どうもありがとう 編集 以前のLassoロジスティック回帰の実行で選択された変数のみを使用してOLSロジスティック回帰を近似するとどうなりますか？どうやら（こちらをご覧ください）、 交差検証を行った後、モデルを再度実行する必要はありません（cv.glmnetの出力から係数を取得するだけです）。実際、ペナルティなしで新しいロジスティック回帰モデルを当てはめると、使用する目的が無効になります。なげなわ しかし、変数の数を低く抑えながらp値を計算できるようにすることを唯一の目的としてこれを行うとどうなりますか？それは非常に汚いアプローチですか？:-)

10 logistic  statistical-significance  regression-coefficients  lasso 

私はいくつかの実世界のデータを使用していますが、回帰モデルは直観に反する結果をもたらしています。通常私は統計を信頼しますが、実際にはこれらのいくつかは真実ではありません。私が見ている主な問題は、実際には、それらが負の相関関係にあるに違いないのに、1つの変数の増加が応答の増加を引き起こしていることです。 各回帰係数に特定の符号を強制する方法はありますか？これを行うRコードも同様にありがたいです。 助けてくれてありがとう！

10 r  regression  regression-coefficients  computational-statistics 

2つの回帰勾配を比較する必要があります。 $ y_1 ~ a + b_1x y_2 ~ a + b_2x $ b1とb2を比較するにはどうすればよいですか？ または、げっ歯類での具体的な例の言語で、比較したい antero-posterior diameter ~ a + b1 * humeral length de naso-occipital length ~ a + b2 * humeral length

10 regression  regression-coefficients 

限界モデルは、各クラスタ内の相関を占めます。条件付きモデルは、も考慮に各クラスタ内の相関をとります。 私の質問は： 条件付きモデルはクラスター内および母集団全体の主な効果をモデル化するのに対し、周辺モデルは母集団全体の主な効果をモデル化しますか？ 周辺モデルの係数の解釈は、基本的に「通常モデル」と同じです。しかし、条件付きモデルの係数はどうでしょうか？

10 repeated-measures  interpretation  regression-coefficients  marginal-model 

まず、このフォーラムでいくつかの調査を行いましたが、非常によく似た 質問が行われたことはわかっていますが、通常は適切に回答されていないか、回答の詳細がわからないだけで理解できない場合があります。したがって、今回は私の質問は次のとおりです。2つのデータセットがあり、それぞれに次のような多項式回帰を行います。 Ratio<-(mydata2[,c(2)]) Time_in_days<-(mydata2[,c(1)]) fit3IRC <- lm( Ratio~(poly(Time_in_days,2)) ) 多項式回帰プロットは次のとおりです。 係数は次のとおりです。 > as.vector(coef(fit3CN)) [1] -0.9751726 -4.0876782 0.6860041 > as.vector(coef(fit3IRC)) [1] -1.1446297 -5.4449486 0.5883757 そして、私が知りたいのは、R関数を使用して、関連する日数の間隔が[ 1,100]。 私が理解したことから、値は2つの異なるデータセットからも、モデル/真のデータの比較に使用されるAICからも得られるため、anovaテストを直接適用することはできません。 私は関連する質問で@Rolandによって与えられた指示に従ってみましたが、私の結果を見て、おそらく何かを誤解しました： これが私がしたことです： 両方のデータセットを1つに結合しました。 f@Rolandが話している変動要因です。最初のセットには1を入れ、他のセットには0を入れました。 y<-(mydata2[,c(2)]) x<-(mydata2[,c(1)]) f<-(mydata2[,c(3)]) plot(x,y, xlim=c(1,nrow(mydata2)),type='p') fit3ANOVA <- lm( y~(poly(x,2)) ) fit3ANOVACN <- lm( y~f*(poly(x,2)) ) 私のデータは今このように見えます： 赤いものはfit3ANOVAまだ機能していますがfit3ANOVACN、モデルの奇妙な結果を持つ青いものに問題があります。フィットモデルが正しいかどうかはわかりません。@ Rolandが正確に何を意味するのかわかりません。 @DeltaIVソリューションを考えると、私はその場合を想定し ています。私はそう仮定する権利がありますか？

10 r  regression  statistical-significance  regression-coefficients  group-differences 

私の状況は： 単純な線形回帰のために残差を正規化するために対数変換した1つの連続従属変数と1つの連続予測子変数があります。 これらの変換された変数を元のコンテキストに関連付ける方法について、何か助けていただければ幸いです。 線形回帰を使用して、生徒が2010年に見逃した日数に基づいて、2011年に生徒が見逃した日数を予測したいと思います。ほとんどの生徒は0日またはほんの数日欠けており、データは積極的に左に歪んでいます。したがって、線形回帰を使用する変換が必要です。 両方の変数にlog10（var + 1）を使用しました（0日間学校を休んだ生徒には+1を使用しました）。性別/民族性などのカテゴリー要素を追加したいので、回帰を使用しています。 私の問題は： 私がフィードバックしたいオーディエンスは、log10（y）= log（constant）+ log（var2）xを理解していません（そして率直に言っても私は理解していません）。 私の質問は： a）回帰で変換された変数を解釈するより良い方法はありますか？つまり、2010年に1日間欠落すると、2011年には2日間欠落します。これに対して、2010年には1単位のログ単位が変更されたのに対し、2011年にはx単位の単位が変更されますか？ b）具体的には、次のようにこの出典から引用された一節を考える： 「これは、他の変数がモデル内で一定に保たれている場合、数学標準化テストスコアが1ユニット増加したときの負の二項回帰推定です。学生が数学テストスコアを1ポイント増加させた場合、期待される数は、モデルの他の変数を一定に保ちながら、0.0016単位で減少すると予想されます。 私が知りたいのですが： この一節は、UNTRANSFORMED変数mathのスコアが1ユニット増えるごとに定数（a）から0.0016減少するため、UNTRANSFORMED数学スコアが2ポイント上がる場合、定数aから0.0016 * 2を引くと言っていますか？ これは、exponential（a））とexponential（a + beta * 2）を使用して幾何平均を取得することを意味しますか？そして、これら2つの間のパーセンテージの差を計算して、予測変数がどのような効果を持つかを示す必要があります/従属変数を持っていますか？ それとも私はそれを完全に間違っていますか？ SPSS v20を使用しています。長い質問でこれをフレーミングして申し訳ありません。

10 regression  data-transformation  regression-coefficients  logarithm 

これは私が何度か遭遇した例にすぎないため、サンプルデータはありません。Rで線形回帰モデルを実行する： a.lm = lm(Y ~ x1 + x2) x1は連続変数です。x2カテゴリ型で、「低」、「中」、「高」の3つの値があります。ただし、Rによって与えられる出力は次のようになります。 summary(a.lm) Estimate Std. Error t value Pr(>|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 私は、Rがそのような要因（要因x2であること）に何らかのダミーコーディングを導入していることを理解しています。私はただ疑問に思っていx2ます。「高」の値をどのように解釈しますか？たとえば、ここで示した例の「High」x2は応答変数にどのような影響を与えますか？ これの例を他の場所（例：ここ）で見ましたが、理解できる説明は見つかりませんでした。

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

約5,000の相関関係のある特徴/共変量とバイナリ応答のデータセットがあります。データは私に与えられました、私はそれを集めませんでした。ラッソとグラディエントブースティングを使用してモデルを構築しています。私は反復されたネストされた相互検証を使用しています。Lassoの最大（絶対）40係数と、勾配ブーストツリーの40の最も重要な機能を報告します（40について特別なことは何もありませんでした。これは、妥当な量の情報であるように思われました）。また、CVのフォールドと反復におけるこれらの量の分散についても報告します。 私は「重要な」機能について少し考え、p値や因果関係などについては何も述べていませんが、代わりにこのプロセスをある種の---不完全でランダムなものである-何らかの現象への洞察と見なしています。 私がこれをすべて正しく行ったと仮定すると（たとえば、相互検証を正しく実行し、投げ縄用にスケーリングした）、このアプローチは妥当ですか？たとえば、複数の仮説検定、事後分析、誤った発見などの問題はありますか？または他の問題？ 目的 有害事象の確率を予測する まず、正確に確率を推定する よりマイナー-健全性チェックとしてだけでなく、さらに調査できるいくつかの新しい予測子を明らかにするために、上記のように係数と重要性を検査します。 消費者 このイベントの予測に関心のある研究者、およびイベントが発生した場合にイベントを修正する必要のある人々 彼らがそれから抜け出してほしいもの 説明されているように、独自のデータを使用してモデリングプロセスを繰り返したい場合は、イベントを予測する機能を提供します。 予想外の予測因子に光を当てる。たとえば、完全に予期しないことが最良の予測因子であることが判明する場合があります。したがって、他の場所のモデラーは、この予測子をより真剣に検討するかもしれません。

9 machine-learning  multiple-comparisons  regression-coefficients  lasso  high-dimensional 

例：仕事の説明に「英国のJavaシニアエンジニア」という文があります。 私は2つのカテゴリとして、それを予測することは、深い学習モデルを使用したい：English とIT jobs。従来の分類モデルを使用する場合softmax、最後のレイヤーで機能を持つ1つのラベルのみを予測できます。したがって、2つのモデルのニューラルネットワークを使用して、両方のカテゴリで「はい」/「いいえ」を予測できますが、さらに多くのカテゴリがあると、コストがかかりすぎます。では、2つ以上のカテゴリを同時に予測するためのディープラーニングまたは機械学習モデルはありますか？ 「編集」：従来のアプローチによる3つのラベルでは、[1,0,0]によってエンコードされますが、私の場合、[1,1,0]または[1,1,1]によってエンコードされます 例：3つのラベルがあり、文がこれらすべてのラベルに収まる場合。したがって、softmax関数からの出力が[0.45、0.35、0.2]である場合、3つのラベルまたは2つのラベルに分類する必要がありますか、それとも1つにすることができますか？それを行うときの主な問題は、1、2、または3つのラベルに分類するための適切なしきい値は何ですか？

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

私はさまざまな結果を予測するために重回帰を適用した記事の結果を解釈しようとしています。しかし、「S（標準B係数は以下のように定義β X 1 = B 、X 1 ⋅ S D X 1ββ\betaここで、yは従属変数、x1は予測子です）報告されたものは、報告されたR2と一致しないようです。βx1=Bx1⋅SDx1SDyβx1=Bx1⋅SDx1SDy\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}yyyx1x1x_1R2R2R^2 -0.83、-0.29、-0.16、-0.43、0.25、および-0.29のにもかかわらず、報告されたR 2は0.20のみです。ββ\betaR2R2R^2 また、3つの予測値：体重、BMI、および脂肪％は、マルチコリニアであり、r = 0.8〜0.9の周りで性別内で相互に相関しています。 あるこれらと値の妥当なβさん、または間にはストレートな関係が存在しないβさんとR 2は？R2R2R^2ββ\betaββ\betaR2R2R^2 さらに、マルチコリニア予測子に関する問題は、4番目の予測子（VO2max）のに影響を与える可能性があります。ββ\beta

9 regression  regression-coefficients  multicollinearity  r-squared 

この論文、（分散コンポーネントのベイズ推論はコントラストエラーのみ使用し、著者の主張、Harville、1974） は「よく知られている」関係」、線形回帰の場合 ここで Y = X β(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)ε 〜N（0 、H ）。y=Xβ+ϵ,y=Xβ+ϵ,y=X\beta+\epsilon,ϵ∼N(0,H).ϵ∼N(0,H).\epsilon\sim\mathcal{N}(0, H). これはどのように有名ですか？これを証明する最も簡単な方法は何ですか？

9 regression  regression-coefficients  heteroscedasticity  bias  linear-algebra 

以下は、私が使用したCoxphモデルの要約出力です（Rを使用し、出力は最良の最終モデルに基づいています。つまり、すべての重要な説明変数とそれらの相互作用が含まれています）。 coxph(formula = Y ~ LT + Food + Temp2 + LT:Food + LT:Temp2 + Food:Temp2 + LT:Food:Temp2) # Y<-Surv(Time,Status==1) n = 555 coef exp(coef) se(coef) z Pr(>|z|) LT 9.302e+02 Inf 2.822e+02 3.297 0.000979 *** Food 3.397e+03 Inf 1.023e+03 3.321 0.000896 *** Temp2 5.016e+03 Inf 1.522e+03 3.296 0.000979 *** LT:Food …

9 r  interaction  regression-coefficients  cox-model 

Rを使用して、連続予測子と離散予測子の混合からの単一応答変数の線形モデルを近似しました。これは基本的ですが、離散因子の係数がどのように機能するかを理解するのに苦労しています。 コンセプト：明らかに、連続変数「x」の係数は次の形式で適用されy = coefx(varx) + interceptますが、係数が非数値の場合、係数zに対してどのように機能しますか？y = coefx(varx) + coefz(factorz???) + intercept 具体的：私はRのモデルをlm(log(c) ~ log(d) + h + a + f + h:a)どこにh、そしてf離散的で非数値的な因子としてフィットさせました。係数は次のとおりです。 Coefficients: Estimate (Intercept) -0.679695 log(d) 1.791294 h1 0.870735 h2 -0.447570 h3 0.542033 a 0.037362 f1 -0.588362 f2 0.816825 f3 0.534440 h1:a -0.085658 h2:a -0.034970 h3:a -0.040637 これらを使用して予測方程式を作成する方法： …

9 linear-model  regression-coefficients  contrasts