タグ付けされた質問 「regression」

打ち切りデータを処理するために、Tobit回帰のような打ち切り回帰法を使用する研究者もいれば、Cox回帰のような古典的な生存分析モデルを使用する研究者もいます。 数学の観点から、Cox回帰とTobit回帰は2つの異なるモデルであることを知っています。 私の質問：これらの2つの方法の長所と短所は何ですか？彼らはそれぞれどのような問題を解決するのが得意ですか？それらは異なる仮定を持っていますか？

7 regression  survival  censoring 

弾性ネット回帰を考慮glmnet損失関数の様パラメータ化n \ ll p （それぞれ44と3000）のデータセットがあり、繰り返し11分割交差検証を使用して、最適な正則化パラメーター\ alphaおよび\ lambdaを選択しています。通常、私はテストセットのパフォーマンスメトリックとして二乗誤差を使用します。たとえば、このR二乗のようなメトリック：L_ \ text {test} = 1- \ frac {\ lVert y_ \ text {test}-\ hat \ beta_0- X_ \ text {test} \ hat \ beta \ rVert ^ 2} {\ lVert y_ \ text {test}-\ hat \ beta_0 \ rVert ^ 2}、L =12 n∥∥y−β0− …

7 regression  cross-validation  model-selection  regularization  elastic-net 

私はよく人々（統計家や実務家）が再考せずに変数を変換しているのを見ます。エラーの分布が変更されて無効な推論につながる可能性があるので、私は常に変換を怖がっていますが、何かを誤解しなければならないのはよくあることです。 アイデアを修正するために、モデルがあるとします Y=β0expXβ1+ϵ, ϵ∼N(0,σ2)Y=β0exp⁡Xβ1+ϵ, ϵ∼N(0,σ2)Y=\beta_0\exp X^{\beta_1}+\epsilon,\ \epsilon\sim\mathcal{N}(0,\sigma^2) これは原則としてNLSに適合します。しかし、ほとんどの場合、私は人々が丸太を取り、フィッティング logY=logβ0+β1logX+???⇒Z=α0+β1W+???log⁡Y=log⁡β0+β1log⁡X+???⇒Z=α0+β1W+???\log{Y}=\log\beta_0+\beta_1\log{X}+???\Rightarrow Z=\alpha_0+\beta_1W+??? これはOLSで適合できることはわかっていますが、パラメーターの信頼区間を計算する方法がわかりません。今のところ、予測区間や許容区間はもちろんです。 そして、それは非常に単純なケースでした：かなり複雑な（私にとって）ケースを考えてください。 YYY そして XXX アプリオリですが、GAMなどを使用してデータから推測しようとします。次のデータについて考えてみましょう。 library(readr) library(dplyr) library(ggplot2) # data device <- structure(list(Amplification = c(1.00644, 1.00861, 1.00936, 1.00944, 1.01111, 1.01291, 1.01369, 1.01552, 1.01963, 1.02396, 1.03016, 1.03911, 1.04861, 1.0753, 1.11572, 1.1728, 1.2512, 1.35919, 1.50447, 1.69446, 1.94737, 2.26728, 2.66248, 3.14672, 3.74638, …

7 regression  confidence-interval  inference  gam  logarithm 

変数間のU字型または逆U字型の関係を（回帰フレームワークで）分析するいくつかの論文を見てきました。私がそこから得た一般的な理解は、私たち全員が簡単に視覚化できる特定のタイプの非線形関係であるということです。 しかし、U字型の回帰関数を正確に数学的に定義する方法について少し混乱しています。簡単にするために、リグレッサだけがあると仮定しますバツxx。 U字型の回帰関数を持つことは、回帰関数が凸状であり、ある点までで減少し、その後が凸状でで増加することを意味しますか？バツxxccccccバツxx または、単に回帰関数がある点まで減少し、その後がで増加することを単に意味しますか？バツxxccccccバツxx

7 regression  references  terminology  nonlinear-regression  definition 

以下のコードは、周囲に二項ノイズを含む一連の「信号」確率で構成されるテストデータのセットを生成します。次に、コードは5000組の乱数を「説明的な」系列として使用し、それぞれについてロジスティック回帰のp値を計算します。 ランダムな説明シリーズは、57％のケースで5％レベルで統計的に有意であることがわかりました。以下の投稿の長い部分を読んだ場合、これはデータに強い信号が存在することに起因します。 だから、ここに主な質問があります：データに強い信号が含まれているときに説明変数の統計的有意性を評価するときに、どの検定を使用すべきですか？単純なp値は誤解を招くようです。 問題の詳細な説明は次のとおりです。 予測子が実際には単なる乱数のセットであるときに、ロジスティック回帰のp値を取得した結果に戸惑っています。私の最初の考えは、この場合、p値の分布はフラットでなければならないということでした。以下のRコードは、実際には低いp値で大きなスパイクを示しています。これがコードです： set.seed(541713) lseries <- 50 nbinom <- 100 ntrial <- 5000 pavg <- .1 # median probability sd <- 0 # data is pure noise sd <- 1 # data has a strong signal orthogonalPredictor <- TRUE # random predictor that is orthogonal to the true …

7 r  regression  logistic  p-value 

最近、時系列データが方程式に従ってモデル化された論文を読みました OLSは、係数を取得するために（R のコマンドと共に）ここで使用されました。統計的に正しいですか？Yt=β1Yt−1+β2X+ε.Yt=β1Yt−1+β2X+ε. Y_t=\beta_1 Y_{t−1}+\beta_2X+\varepsilon. lm()Yt−1Yt−1Y_{t-1} 時系列データを扱う場合、これは実際にはARXプロセスを意味し、として表すことができます ここで、はYule-Walker方程式から得られます。Yt=θYt−1+βX+ε,Yt=θYt−1+βX+ε, Y_t=\theta Y_{t-1}+\beta X + \varepsilon, θθ\theta ウィルと同じ結果が得？、OLS推定器は自己相関問題の受けませんか？私の統計知識は初心者レベルです。これを理解してください。θθ\thetaβ1β1\beta_1E[xtεt]≠0E[xtεt]≠0E[x_t \varepsilon_t] \ne 0

7 regression  time-series  least-squares  autoregressive 

統計で、「2乗」されたシンボルに遭遇することがあります。他の領域では、たとえば力学のように、通常の文字に関心のある数量を指定してから、式を定義して、関心のある数量が通常の文字として左側に並ぶまで並べ替えることができます。式。例は、時間と速度移動した後の位置です。xxxtttvvv x=vtx=vtx = vt ただし、統計では、2乗された数量が左側に表示されることがあります。これは、結果をさらに解釈するために使用されるためです。 期待値がE [X] = µの確率変数の分散：σ2XσX2\sigma^2_XXXXE[X]=µE[X]=µE[X]=µ σ2X=E[(X−µ)2]σX2=E[(X−µ)2]\sigma^2_X = E[(X-µ)^2] ここでは、四角形のエンティティが数式の左側に立っています。 統計学者によって常に「R 2乗」と呼ばれることさえある決定係数R2R2R^2。頻繁に使われるのに、なぜ「普通の」手紙を送らないのですか？ 遺伝率は、遺伝学に起因する変動量と環境に起因する変動量との比をとる場合に、遺伝学に採用される尺度です。量的形質PPP（たとえば、成長の高さ）は、遺伝子型効果GGGおよび環境効果EEE（すべての確率変数）に応じて、次のようにモデル化されます。 P=G+EP=G+EP = G + E 広義の遺伝率H2H2H^2が定義されていますH2=Var(G)/Var(P)H2=Var⁡(G)/Var⁡(P)H^2 = \operatorname{Var}(G)/\operatorname{Var}(P) [ソース] 誰もHHHに興味がなく、H ^ 2だけH2H2H^2です。 この慣習の意味は何ですか？それは統計学者に何を伝えますか？または、いくつかの無関係な原因がありますか？

7 regression  variance  notation  history 

スチューデント化された残差について読みましたが、予測子の特定の値を条件として、さまざまな残差分散の考え方が理解できません。 XXX （スチューデント化された残差の概念によって暗示されるように）は、単一の予測子変数を使用する線形回帰モデルにおける等分散性の仮定と本質的に矛盾していません。 それは私の教科書で、等分散性の仮定は、 YYY （従属変数）条件付き X=xX=xX = x（独立予測変数の特定の実現）は、この予測変数の値の範囲全体で一定です。この条件付き分散は、残差変数の条件付き分散にも等しいと言いますεε\varepsilon 与えられた xxx。私の理解では、これは人口レベルでの発言です。まとめると、次のようになります。 Var(Y|X)=Var(ε|X)=σ2εVar(Y|X)=Var(ε|X)=σε2Var(Y|X) = Var(\varepsilon|X) = \sigma^2_\varepsilon 後でこの本は、従属変数の外れ値の検出を扱い、標​​準化およびスチューデント化された残差の使用を提案しています。標準化された残差は個々の残差ですεiεi\varepsilon_i 推定標準偏差で割った σ^εσ^ε\hat\sigma_\varepsilon母集団の残差変数の。標準化された残差の場合、各残差εiεi\varepsilon_i したがって、同じ定数値を使用して標準化されます σ^εσ^ε\hat\sigma_\varepsilon 等分散性を仮定できる場合： Stand.Resi=εiσ^εStand.Resi=εiσ^εStand.Res_i = \frac{\varepsilon_i}{\hat\sigma_\varepsilon}。 ただし、次の段落では、スチューデント化された残差が導入されています。本は言う： "残差の推定の精度が距離とともに増加することを示すことができますxixix_i その平均から x¯x¯\bar x。スチューデント化された残差の場合、残差はその推定標準誤差全体ではなく、その場所での残差の推定標準偏差で除算されます。xixix_i。この標準偏差は、次の式から取得できます。 Student.Resi=εiσ^ε⋅1−hi√Student.Resi=εiσ^ε⋅1−hiStudent.Res_i = \frac{\varepsilon_i }{\hat\sigma_\varepsilon \cdot \sqrt {1-h_i}} と hihih_i （この単純な場合：単数）予測子のレバレッジスコア xixix_i。したがって、この場合、残差はすべて同じ定数値で除算されるのではなく（標準化された残差の場合のように）、代わりにてこ比の値に依存する残差標準誤差の分布があるように見えます。このサイトの他の質問で説明されているように、これらのレバレッジ値は予測変数の両端で大きくなります。ウィキペディア（https://en.wikipedia.org/wiki/Errors_and_residuals#Regressions）には次のように書かれています： 回帰分析では、エラーと残差の区別は微妙で重要であり、スチューデント化された残差の概念につながります。独立変数を従属変数に関連付ける観測できない関数（たとえば、線）がある場合、この関数からの従属変数の観測値の偏差は観測できないエラーです。一部のデータに対して回帰を実行する場合、フィットされた関数からの従属変数の観測値の偏差は残差です。[...]ただし、回帰プロセスの動作により、エラー自体が同じように分布していても、（入力変数の）異なるデータポイントでの残差の分布は異なる場合があります。具体的には、誤差が同じように分布する線形回帰では、ドメインの中央にある入力の残差の変動性は、ドメインの端にある残差の変動性よりも高くなります[必要な引用]：線形回帰は、中央よりも良いエンドポイントに適合します。これは、回帰係数のさまざまなデータポイントの影響関数にも反映されます。エンドポイントの影響が大きくなります。 これは直感的に私には理にかなっていますが、それが同等分散性の仮定に矛盾しないことを私はよく理解していません。これは、母集団レベルでは、エラー分散がすべてのレベルで等しくなる可能性があるためです。XXX しかし、回帰直線をあてはめて誤差分散を推定すると（母集団レベルでの誤差の推定値として残差を使用できるように）、次の条件の残差標準偏差の分布が自動的かつ人工的に作成されます。 XXXその残差標準偏差をすべての残差の等しい特異値にする代わりに？つまり、標準化された残差は、（観測不能な）母集団レベルでのみ本当に有用であることを意味しますよね？与えられたサンプルについて、標準化された残差は、すべての値の正確な推定量になる可能性があるためですxixix_i 遠い x¯x¯\bar x 単に回帰モデルが当てはまる方法のためですか？ ただし、そうである場合、予測変数に対してスチューデント化された残差をプロットし、残差の分散が …

7 regression  residuals  heteroscedasticity  error 

次の状況にどのように取り組むかについてアドバイスをいただければ幸いです：カウント変数Xと4つのバイナリ変数A、B、C、Dがあります。カウント変数は独立変数です（これは、小児期の有害な経験の数を指します）とバイナリは従属変数です（それらは成人期の特定の有害な結果を指します）。データセット内の回答者は、A、AC、BCDなどの結果の任意の組み合わせを持つことができます。カウント変数Xと結果のA、B、C、Dの間の関連の強さを測定します。他の結果。 これにどのように取り組むのが最善かわかりません。変数の役割を逆転させ、カウント変数Xを結果として、ADを予測子として扱うことは正当化されますか？したがって、これは負の二項回帰になります（過剰分散があります）。このようにして、XとA（B、C…）間の関連付けは、他のバイナリ変数を一定に保持して推定されます。しかし、私は、以前に起こったことと後で起こることを予測しているので、論理的にそれは危険だと思われます。 または、代わりにMANOVAを使用する必要があります（ただし、結果の解釈が簡単ではないことをどこかで読んだことがあります）。 または、https：//www.ncbi.nlm.nih.gov/pmc/articles/PMC2798811/で提案されているように、一般化された線形混合モデル（これまでに試したことがない）を使用する必要があります。

7 regression  multivariate-analysis  binary-data  regression-strategies 

単純な線形回帰の可能性を人々がどのように導き出すかを理解しようとしています。1つの特徴xと結果yだけがあるとしましょう。私はないではない通常の密度自体で式を疑う私も疑問1が原因独立にシンプルな要因に製品を因数分解できることをしないでください。人々がこの表現をどのように導き出したのか疑問です。入力およびほぼすべての場所について（部分的に正しくない）仮定の全体の動物園があり、実際に正しい仮定を使用する必要がある重要なステップ（通常の密度の積を導出する方法）は省略されています:-( 私は仮定のが自然だと思うことは以下の通りである。我々は、固定されたトレーニングセット与えられていると仮定します(xi,yi)i=1,2,...,n(xi,yi)i=1,2,...,n(x_i, y_i)_{i=1,2,...,n} 長さ固定トレーニングセット内のペアは、iid分散されたランダム変数からのもの(xi,yi)(xi,yi)(x_i, y_i)nnn(Xi,Yi)(Xi,Yi)(X_i, Y_i) Yi=β0Xi+ϵiYi=β0Xi+ϵiY_i = \beta_0 X_i + \epsilon_i ϵiϵi\epsilon_i各として分散一次元IIDランダム変数でN(0,σ)N(0,σ)\mathcal{N}(0, \sigma)とσσ\sigma（簡単にするために）知られている（多分1条件濃度約ものと仮定すべきであるfϵi|Xifϵi|Xif_{\epsilon_i|X_i}ここ？人々は実際にここで何を仮定するべきか不確かに思われる...） レッツとlet。目標は、条件付き密度です。明らかに、 Y=(Y1,...,Yn)Y=(Y1,...,Yn)Y = (Y_1, ..., Y_n)X=(X1,...,Xn)X=(X1,...,Xn)X = (X_1, ..., X_n)fY|X=f(Y,X)fXfY|X=f(Y,X)fXf_{Y|X} = \frac{f_{(Y,X)}}{f_X}fY|X=∏i=1nfYi|XifY|X=∏i=1nfYi|Xif_{Y|X} = \prod_{i=1}^n f_{Y_i|X_i} 質問： ここから先に進むには？ 仮定がまたはに関する情報をどのように与えるかわかりませんそのため、この量を単純に計算できません。また、一部の人々は、および正規分布している（または正規分布している）とは、も正規分布していると考えているかもしれませんが、...f(Yi,Xi)f(Yi,Xi)f_{(Y_i, X_i)}fXifXif_{X_i}fYi|Xi=f(Yi,Xi)fXifYi|Xi=f(Yi,Xi)fXif_{Y_i|X_i} = \frac{f_{(Y_i, X_i)}}{f_{X_i}}Yi=β0Xi+ϵiYi=β0Xi+ϵiY_i = \beta_0 X_i + \epsilon_iϵiϵi\epsilon_iϵi|Xiϵi|Xi\epsilon_i|X_iYi|XYi|XY_i|X 正規分布のランダム変数に関するステートメントがありますが、次のようになりますが正規分布で、が固定行列の場合、は通常再分布されます。上記の場合、はであり、定数行列ではありません。XXXA,BA,BA, BAX+BAX+BAX+BBBBβ0Xiβ0Xi\beta_0 X_i 他の情報源は、は通常すぐに配布されると想定しているようです。これは奇妙な仮定のようです...実際のデータセットでそれをどのようにテストできるでしょうか？fYi|XifYi|Xif_{Y_i|X_i} よろしくお願いいたします。 FW

7 regression  probability  linear-model  likelihood  linear 

バイナリ分類で使用されるロジスティック回帰は、結果変数の潜在的な確率のモデルとしてロジスティック関数を使用します。 このようなモデルをフィッティングするために有用で不可欠ないくつかのプロパティがあります。たとえば、単調に増加し、xが無限大になる傾向があると1になる傾向があり、xが無限大になる傾向があると0になる傾向があります。ただし、これらのプロパティを満たす関数には他のオプションがあります。 それでは、ロジスティック関数は単に便宜上使用されているのでしょうか、それともロジスティック関数が「正しい」または使用するのに適切な関数である理由が他にあるのでしょうか。

7 regression  logistic 

私は、R、線形モデル、および確率計算を使用して確率について自己学習しています。現在、モデルからの2つの予測を比較する方法にこだわっています。私が使用しているデータはここからダウンロード（無料）されています：wmbriggs.com/public/sat.csv df <- read.csv("sat.csv") # Load data lm <- lm(cgpa~hgpa+sat+ltrs,data=df) # model to predict College GPA new.df <- data.frame(hgpa=c(4,3),sat=c(1168,1168),ltrs=c(6,6)) # 2 scenario data. Same SAT and LTRS, differing Highschool GPA predict(lm,new.df) # plug our scenario data into the model to predict cgpa based on input 1 2 2.881214 2.508154 これが設定データです。より高い予測 …

7 r  regression  predictive-models  interpretation 

バイアス分散のトレードオフの概念を理解しています。私の理解に基づくバイアスは、単純な分類子（例：線形）を使用して複雑な非線形決定境界をキャプチャするため、エラーを表します。そのため、OLS推定器には高いバイアスと低い分散があると期待していました。 しかし、私にはOLS = 0のバイアスが意外であるというガウスマルコフ定理に出くわしました。OLSのバイアスが高いと予想していたため、OLSのバイアスがどのようにゼロであるかを説明してください。バイアスの理解が間違っているのはなぜですか？

7 regression  machine-learning  least-squares  unbiased-estimator  blue 

回帰問題では、出力がビン/カテゴリ/クラスターに離散化され、ラベルとして使用される場合、モデルは分類モデルに縮小されます。 私の質問は、この削減を行うことの背後にある理論的または応用的な動機は何ですか？テキストから位置を予測する私の特定の実験では、回帰ではなく分類として問題をモデル化すると、改善が見られます。 私の特定のケースでは、出力は2dですが、これについてのより一般的な説明を探しています。 更新： 入力がBoWテキストで、出力が座標であると想定します（ジオタグ付きTwitterデータの場合など）。回帰では、二乗誤差損失を使用して、与えられたテキストの緯度/経度を予測します。トレーニングの緯度/経度のポイントをクラスター化し、各クラスターをクラスと仮定すると、分類モデルのクロスエントロピー損失を最適化することでクラスを予測できます。 評価： 回帰の場合、予測された場所と金の場所の間の平均距離。 分類のために、予測されたクラスターの中央のトレーニングポイントとゴールドの場所の間の平均距離。

7 regression  classification  categorical-data  continuous-data 

完全なモデルに基づく推論は適切であり、適切な場合はどのような状況ですか？ 応答変数といくつかの候補予測子変数の間の潜在的な関係に関心があり、何らかの形の回帰（たとえば、一般化線形モデル）を使用してそれに答えるとします。どの予測因子が「重要」であるか、または応答と明らかに真の関係にあるかを推測する1つのアプローチは、情報理論的基準（たとえばAIC）に基づくモデル比較です。最終モデルで保持されない変数は応答とある程度の関係があるかもしれませんが、モデルに保持されている他の予測子を考えると、それらは本質的に追加の実質的な情報を提供しません。 完全な（グローバル）モデル（すべての候補予測子を含む）を単純に当てはめて、そこで停止し、t統計（または他の統計）とp値のみに基づいて個々の予測子に基づいて推論する方が適切な場合はありますかこの完全なモデルでは、さらにモデルを選択する必要はありませんか？ 私は、潜在的な欠点はあるものの、これを行うのが賢明なことかもしれないという提案に遭遇しました（例：Whittingham et al。「なぜなぜ生態学と行動に段階的モデリングを使用するのですか？」（2006）。偏りはありませんが、モデルの他の（「重要でない」）変数がそれらに影響を与える可能性があるため、他のソースはこれらの推定値とp値は信頼できないと述べています。 潜在的な生物学的関係を理解することを目的とする場合、どの方法がより適切でしょうか？

7 regression  generalized-linear-model  model-selection  inference  explanatory-models