タグ付けされた質問 「regression」

Rでの関数のdfbetas()動作を再現しようとしています。 dfbeta() 問題ではありません...ここに一連のベクトルがあります： x <- c(0.512, 0.166, -0.142, -0.614, 12.72) y <- c(0.545, -0.02, -0.137, -0.751, 1.344) 次のように2つの回帰モデルを当てはめる場合： fit1 <- lm(y ~ x) fit2 <- lm(y[-5] ~ x[-5]) 最後のポイントを削除すると、非常に異なる勾配（青い線-急）になることがわかります。 これは、勾配の変化に反映されています。 fit1$coeff[2] - fit2$coeff[2] -0.9754245 これdfbeta(fit1)は、5番目の値のと一致します。 (Intercept) x 1 0.182291949 -0.011780253 2 0.020129324 -0.001482465 3 -0.006317008 0.000513419 4 -0.207849024 0.019182219 5 …

8 r  regression  regression-coefficients  diagnostic 

回帰分析の前提の1つは、とが絡み合っていないことです。でも考えてみると理にかなっているようです。YバツXXYYY 例を示します。3つのセクション（ABおよびC）のテストがある場合。全体のテストスコアは、3つのセクションの個々のスコアの合計と等しくなります。ここで、はセクションAのスコアで、は全体的なテストスコアであると言えます。次に、線形回帰はこの質問に答えることができます：セクションAに起因する全体的なテストスコアの変動性は何ですか？ここでは、いくつかのシナリオが考えられます。YバツXXYYY セクションAは3つのセクションの中で最も難しいものであり、学生は常に最も低いスコアになります。このような場合、直感的にはは低くなります。全体的なテストスコアのほとんどはBとCによって決定されるためです。R2R2R^2 セクションAは学生にとって非常に簡単でした。この場合も、相関は高くありません。学生は常にこのセクションの100％を採点しているため、このセクションではテスト全体の得点については何もわかりません。 セクションAには中間的な困難があります。この場合、相関はより強くなります（ただし、他のスコア（BおよびC）にも依存します）。 別の例はこれです：尿中の微量元素の総含有量を分析します。そして、尿中のその微量元素の個々の種（化学形態）を独立して分析します。多くの化学的形態があり得る。そして、私たちの分析が正しければ、化学形態の合計は、（異なる手法で分析された）元素の総含有量と同じになるはずです。ただし、1つの化学形態が尿中の総元素含有量と相関しているかどうかを尋ねることは理にかなっています。この総含有量は、その元素の食物からの総摂取量の指標であるためです。次に、が尿の合計要素であり、YXXXYYY 尿中の化学形態Aである場合、相関を調べることにより、この化学形態が全体的な変動に寄与する主要な形態であるかどうかを調べることができます。 とが独立していない場合でも理にかなっているように思われ、これが場合によっては科学的質問への回答に役立つと思われます。YXXXYYY 上記の例では有用または意味があると思いますか？上記のテストスコアの例を考えると、生徒の難易度がまったく同じであれば、各セクションの約33％の貢献があると私はすでに言っています。しかし実際には、これは必ずしも真実ではありません。したがって、多分回帰分析を使用すると、試験の各セクションに起因する真の変動性を知るのに役立つと考えていました。したがって、帰無仮説が真ではないことをすでに知っていても、は意味があるように思えます。R 2R2R2R^2R2R2R^2 そのような状況を説明し、意味のあるパラメーターを提供するための代替の修正された回帰方法はありますか？

8 regression  correlation  r-squared 

私は不動産を評価するためのプログラムを書いており、いくつかの堅牢な回帰モデルの違いを本当に理解していません。そのため、どちらを選択するかわかりません。 私が試したlmrob、ltsRegとrlm。同じデータセットの場合、3つの方法すべてで係数の値が異なります。 私はそれが使用するのが最善であると考えltsReg、ためsummary(ltsReg())の情報を提供R-squaredしてp-values、これは私がモデルを受け入れるか却下するとどうかを判断するのに役立ちます。 それltsRegは良い選択だと思いますか？ 編集：私はちょうど適合 R 統計を読んだところですが、調整されたR二乗は一般的に品質適合の最良の指標です

8 r  regression  p-value  r-squared 

1時間にイベントが発生する頻度（「1時間あたりの数」、nph）とイベントが持続する時間（「1秒あたりの秒数」、dph）を説明するデータがあります。 これは元のデータです： nph <- c(2.50000000003638, 3.78947368414551, 1.51456310682008, 5.84686774940732, 4.58823529414907, 5.59999999993481, 5.06666666666667, 11.6470588233699, 1.99999999998209, NA, 4.46153846149851, 18, 1.05882352939726, 9.21739130425452, 27.8399999994814, 15.3750000002237, NA, 6.00000000004109, 9.71428571436649, 12.4848484848485, 16.5034965037115, 20.6666666666667, 3.49999999997453, 4.65882352938624, 4.74999999996544, 3.99999999994522, 2.8, 14.2285714286188, 11.0000000000915, NA, 2.66666666666667, 3.76470588230138, 4.70588235287673, 13.2727272728677, 2.0000000000137, 18.4444444444444, 17.5555555555556, 14.2222222222222, 2.00000000001663, 4, 8.46153846146269, 19.2000000001788, 13.9024390245481, 13, 3.00000000004366, NA, …

8 normal-distribution  data-transformation  logistic  generalized-linear-model  ridge-regression  t-test  wilcoxon-signed-rank  paired-data  naive-bayes  distributions  logistic  goodness-of-fit  time-series  eviews  ecm  panel-data  reliability  psychometrics  validity  cronbachs-alpha  self-study  random-variable  expected-value  median  regression  self-study  multiple-regression  linear-model  forecasting  prediction-interval  normal-distribution  excel  bayesian  multivariate-analysis  modeling  predictive-models  canonical-correlation  rbm  time-series  machine-learning  neural-networks  fishers-exact  factorisation-theorem  svm  prediction  linear  reinforcement-learning  cdf  probability-inequalities  ecdf  time-series  kalman-filter  state-space-models  dynamic-regression  index-decomposition  sampling  stratification  cluster-sample  survey-sampling  distributions  maximum-likelihood  gamma-distribution 

統計的有意性、効果の大きさなどをよりよく理解しようとしています。 大規模なサンプルでは、​​無関係なリグレッサでさえ統計的に有意になることがよくあるという認識があります（おそらく間違っています）。無関係な私回帰は、従属変数に関連しなければならない理由は何の主題の説明がないことを意味します。したがって、この投稿の無関係性は純粋な主題概念であり、統計的概念ではありません。 （ここで説明するように）母集団の影響が正確にゼロでない限り、十分に大きなサンプルが与えられれば、リグレッサは統計的に有意であることを知っています。したがって、大きなサンプルで統計的に有意であると思われる無関係なリグレッサは、母集団でゼロ以外の効果サイズを持っています。 質問： 無関係なリグレッサが統計的に有意であることが判明するのはなぜですか？ 主題の説明を探す必要がありますか（つまり、関連性を否定しようとします）、これは統計的な現象ですか？ これは、私がこの効果をどのように治すかを明確にしようとしていた投稿の続きです。一方、ここで、なぜそもそもそれが起こるのかを尋ねています。

8 regression  statistical-significance  effect-size  large-data 

私は英国の頭部外傷の全国的外傷データベースからの遡及的データに基づいてロジスティック回帰モデルを開発しています。主な結果は30日間の死亡率です（Outcome30メジャーとして示されます）。以前の研究での転帰に対する有意な影響の公表された証拠を伴うデータベース全体にわたる他の測定には以下が含まれます： Yeardecimal - Date of procedure = 1994.0-2013.99 inctoCran - Time from head injury to craniotomy in minutes = 0-2880 (After 2880 minutes is defined as a separate diagnosis) ISS - Injury Severity Score = 1-75 Age - Age of patient = 16.0-101.5 GCS - Glasgow Coma Scale = 3-15 …

8 r  regression  logistic  splines 

私はクローン病患者の死亡率の傾向（1998年と2011年の間）を調べています。各患者（症例）は1998年から2011年の間に含まれています。含まれるとき、各患者は同じ年齢と性別の健康な対照と一致しています。死亡率の傾向を分析しています。これを直接調整すると、調整なしで、時間の経過に伴う死亡率が変動します。これは、特定の年を含む個人が別の年を含む年と比較できないためと思われます。したがって、私は死亡率を調整することを目指しています。両方のグループ（ケースとコントロール）の死亡率は時間とともに低下し、ケースとコントロールのギャップは次第に狭くなると思います。 私の考えは、ポアソン回帰によって調整を行うことです。私のデータは個人レベルです。私が取得を希望する1つのモデルにオフセットとして含まれることになる2011年の生存時間に1998年から毎年、ケースおよびコントロールのための（1000年人年あたり）発生率の推定値を。ここでも同様のことが行われています。 データセットの最初の200行をアタッチしました。これは1500人の個人で構成されています。こちらがデータです。変数の説明： 死亡=追跡中に患者が死亡したかどうか surv =日単位の生存時間 年齢グループ=分類された年齢グループ（4グループ） 性別=男性/女性 診断=健康なコントロールでは0、クローン病では1 年齢=年齢 included_year =調査に含まれた年 これまでに何を試しましたか？ポアソンモデルをRのglm（）関数で、個々の観測値（オフセットとしてlog（surv））を使用して近似しようとしましたが、エラーを受信したか、近似の使用方法を理解できませんでした。また、データをグループに集約してから、glm（）で死亡数を分析しました。発生率を取得するためにフィットを使用した場合、特定の年齢/年齢グループと性別のレートのみを取得できました（predict（）関数で指定する必要がある場合）。 添付されたデータセットで実行できるいくつかの統計的なアドバイスとコーディングの例を本当に感謝します。

8 regression  multiple-regression  survival  poisson-regression 

現在、バイナリロジスティック回帰を使用して一部のデータをモデル化しています。従属変数には多くの正のケースと負のケースがあります-それはまばらではありません。また、トレーニングセットが大きく（> 100,000）、関心のある主な効果の数は約15であるため、p> nの問題は心配していません。 私が心配しているのは、予測変数の多くが、連続している場合、ほとんどの場合ゼロであり、名目上の場合、ほとんどの場合nullであることです。これらの疎な予測子変数が> 0（またはnullではない）の値を取る場合、データに精通しているため、これらの変数が私の陽性のケースを予測する上で重要であることを知っています。これらの予測子のスパース性がモデルにどのように影響するかについての情報を探しています。 特に、スパースではなく相関しているが、実際にはポジティブケースの予測がうまくいかない別の予測変数がある場合、スパースではあるが重要な変数の影響がモデルに含まれないようにしたいと思います。 。 例を示すと、誰かが特定のアイビーリーグの大学で受け入れられるかどうかをモデル化しようとしていて、私の3つの予測因子がSATスコア、GPA、およびバイナリとしての「寄付> 100万ドル」であった場合、私には理由があります。 「寄付> 100万ドル」は、真実である場合、受け入れを非常に予測するものであると信じることです。高いGPAやSATよりもはるかに高いですが、非常にまばらです。これが私のロジスティックモデルにどのように影響しますか？また、これを調整する必要がありますか？また、別のタイプのモデル（たとえば、決定木、ランダムフォレストなど）がこれをより適切に処理しますか？

8 regression  logistic  predictor  sparse 

Theil-Sen推定量は私にとって興味深いものですが、自分で実装すると、O（n ^ 2）としてスケーリングするものになってしまいます。ウィキペディアによると、O（n log（n））で正確に計算できます。誰かが効率的な実装に私を向けることができますか（pythonまたはmathematicaが最善であり、MatlabまたはRが許容できるでしょう）、そうでなければ効率的なバージョンがどのように機能するかを簡単な言葉で説明できますか？

8 regression  robust 

これらのスレッドの両方の回答、1および2人のという主張、形質転換されなければならない前に、予測因子に他の変換を適用します。実際、変換に関するWeisbergの章は、予測子よりもDVに重点を置いており、RカーパッケージpowerTransform（）のマニュアルページも同様です。YYY ただし、DV分布の正規性は、BLUE係数を推定するためのOLSの要件ではなく、残差が厳密に正規分布していない場合でも、OLSは依然として妥当な推定量です。 では、なぜ変換に重点を置いているのでしょうか。を変換しない方が実際には望ましいと思う理由はいくつかあります。1つ目はIVの関係を読みにくくし、2つ目は予測で、推定値から元のスケールに逆変換する必要があります。何をしているのかによって、これが問題になる場合があります。Y YYYYYYYYYY

8 regression  data-transformation 

データ生成プロセスは次のとおりです：y=sin(x+I(d=0))+sin(x+4∗I(d=1))+I(d=0)z2+3I(d=1)z2+N(0,1)y=sin(x+I(d=0))+sin(x+4∗I(d=1))+I(d=0)z2+3I(d=1)z2+N(0,1)y = \text{sin}\Big(x+I(d=0)\Big) + \text{sin}\Big(x+4*I(d=1)\Big) + I(d=0)z^2 + 3I(d=1)z^2 + \mathbb{N}\left(0,1\right) ましょx,zx,zx,zからの配列である−4−4-4に444長さの100100100およびddd対応する因子であることがd∈{0,1}d∈{0,1}d\in\{0,1\}。すべての可能な組み合わせを取り、yx,z,dx,z,dx,z,dを計算します。 yyy （中心化されていない）Bスプライン基準を使用するとx,zx,zx,z、各レベルのzはddd、parity-of-unity-property（行の合計が1）によって実現できなくなります。このようなモデルは識別できません（切片がない場合でも）。 例：（設定：5つの内部ノット間隔（均一に分布）、次数2のBスプライン、- spline関数はカスタムのもの） # drawing the sequence n <- 100 x <- seq(-4,4,length.out=n) z <- seq(-4,4,length.out=n) d <- as.factor(0:1) data <- CJ(x=x,z=z,d=d) set.seed(100) # setting up the model data[,y := sin(x+I(d==0)) + sin(x+4*I(d==1)) + I(d==0)*z^2 + 3*I(d==1)*z^2 …

8 r  regression  generalized-linear-model  nonparametric  splines 

4つの明確で順序付けられたカテゴリを持つ結果変数を考​​えてみます。これは、順序ロジスティック回帰を使用して、共変量がラダーを1つ「ステップ」上に移動するときの共変量の効果を推定するのに適しているようです。 しかし、主題はカテゴリー全体に特に均等に分散しているため、疑問が生じます。 ORが相対リスクを概算するための「まれな結果の仮定」は、通常のロジスティック回帰で依然として真実ですか？ もしそうなら、相対リスクを直接推定するようにリンク関数を変更することは可能ですか？また、そのような場合の収束の問題に対処するために、ロバストな標準誤差を持つポアソン近似のようなものを使用することはまだ可能ですか？

8 regression  ordinal-data  ordered-logit 

一般的なバージョン： 私は推定する必要があると連続して多変量です。良い関数形を心に留めておらず、は公平なものである必要があるため、ノンパラメトリックにしたいと思います。条件付きカーネル密度推定器を使用したかったのですが、最初にを量子化する必要があることに気付きました。それから私は推定するためのアイデアだったとF（X ）という計算にデータや使用からのF（A | X ）、または多分私はどこかでそれを読んで、覚えていませんどこ。A X F（A | X ）X F（A 、X ）f(A|X)f(A|X)f(A | X)AAAXXXf^(A|X)f^(A|X)\hat{f}(A | X)XXXf^(A,X)f^(A,X)\hat{f}(A , X)f^(X)f^(X)\hat{f}(X)f^(A|X)f^(A|X)\hat{f}(A | X) この手順が有効ではない理由はありますか？カーネル密度よりも良いまたはより正直なアプローチはありますか？また、ノンパラメトリックにサンプル密度から人口密度を推定することに問題はありますか？データは調査データであり、私には調査の重みがあります。どういうわけかそれらを組み込む必要がありますか？ ケース固有のバージョン： Robins（2000）（ゲートされていないPDF）のように、これらの推定値を周辺構造モデルでの治療の確率の逆数の重みに使用することに言及する価値があるでしょう。私は「治療」の配列観察{at}4t=0{at}t=04\{a_t\}_{t=0}^{4}と時間変動交絡因子のシーケンス{xt}4t=0{xt}t=04\{x_t\}_{t=0}^{4}いくつかの結果に対するy~y~\tilde{y}で生じるt=T+1t=T+1t=T+1。単純なパラメトリック因果関係、ただし、時変交絡因子があるため、βは「平均治療効果」の偏った推定であり、因果パス上にあるため、交絡因子をリグレッサとして追加できません。βにもバイアスをかけます。幸いドクロビンスはI再重量私の観測場合、私はにより交絡/公平かつ合理的に効率的な推定値を得ることができることを考え出した wが、私は= 4 Π S=0、F（S|A S < T）をE[ Y〜| a⃗ ] = β』a⃗ E[Y~|a→]=β′a→E[\tilde{Y} | \vec{a}]=\beta'\vec{a}ββ\betaββ\betaw私= ∏s = 04f（as| as < t）f（as| as < t、xs < …

8 regression  estimation  nonparametric  pdf  causality 

私はとロジスティック回帰しております独立変数と123 、996回の観測を。データがモデルの前提条件を満たしているかどうかを判断するためにモデルフィットを評価しており、パッケージを使用して次のビニング残差プロットを作成しました。242424123,996123,996123,996arm R このプロットには明らかにいくつかの悪い兆候があります。多くの点が信頼帯の外にあり、残差には独特のパターンがあります。私の質問は-これらの問題をロジスティック回帰モデルの特定の仮定に関連付けることはできますか？たとえば、独立変数または異分散性の非線形性の証拠があると言えますか？そうでない場合、問題がどこにあるかを特定するのに役立つ他の診断を作成できますか？ ダニエルの回答に基づくと、主な問題は、ロジットスケールでは残差を使用していましたが、応答スケールでは期待値を使用していることです。残差を含むプロットを応答スケールでも再現すると、次のようになります。 それははるかに信じられます。

8 regression  logistic  residuals 

2つの変数を使用して単純な線形最小二乗回帰を行うための適切なモデルを、どのようにして客観的に（「アルゴリズム的に」読み取る）選択できますか？ たとえば、データが2次傾向を示しているように見え、データに非常によく適合する放物線が生成されたとします。これを回帰にすることをどのように正当化しますか？または、より良いモデルが存在する可能性を排除するにはどうすればよいですか？ 私が本当に心配しているのはこれです。データセット（点の補間）に完全に適合するまで、多項式の項を追加し続けるだけで、エラーはまったく発生しません。しかし、「モデル」が実際に適切であると考える理由がないため、これは予測または外挿に関しては役に立たないでしょう。では、正確さと直感的な魅力のニーズのバランスをどのように取るのでしょうか？ （また、これが以前に尋ねられたことがある場合は、私に警告してください。そうであったと思いますが、何も見つかりませんでした。）

8 regression  forecasting  model-selection  prediction