タグ付けされた質問 「separation」

ターゲット変数のゼロと1を完全に分離する変数がある場合、Rは次の「完全または準完全分離」警告メッセージを生成します。 Warning message: glm.fit: fitted probabilities numerically 0 or 1 occurred モデルは取得できますが、係数の推定値は膨らんでいます。 これを実際にどのように扱いますか？

163 r  regression  logistic  separation 

50の連続した説明変数を使用してバイナリの結果を予測しようとしています（ほとんどの変数の範囲はから）。私のデータセットにはほぼ24,000行あります。Rで実行すると、次のようになります。−∞−∞-\infty∞∞\inftyglm Warning messages: 1: glm.fit: algorithm did not converge 2: glm.fit: fitted probabilities numerically 0 or 1 occurred 完全な分離が発生している可能性があることを示唆する他の応答を読みましたが、データにはそうではないと確信しています（準完全な分離が存在する可能性がありますが、そうであるかどうかを確認するにはどうすればよいですか？） 。一部の変数を削除すると、「収束しませんでした」エラーがなくなる可能性があります。しかし、それは常に起こることではありません。 bayesglm関数で同じ変数を使用しようとすると、同じエラーが発生しました。 ここで何が起こっているのかを正確に把握するには、どのようなステップを踏むでしょうか？どの変数が問題を引き起こしているのかをどのように把握しますか？

56 r  regression  logistic  separation 

航空会社のフライトに関するデータがあります（というデータフレーム内flights）。フライト時間が到着の大幅な遅延（10分以上を意味する）の確率に影響するかどうかを確認したいと思います。予測としてフライト時間を使用し、応答として各フライトが大幅に遅延した（ベルヌーイの束）かどうかのロジスティック回帰を使用すると考えました。私は次のコードを使用しました... flights$BigDelay <- flights$ArrDelay >= 10 delay.model <- glm(BigDelay ~ ArrDelay, data=flights, family=binomial(link="logit")) summary(delay.model) ...しかし、次の出力が得られました。 > flights$BigDelay <- flights$ArrDelay >= 10 > delay.model <- glm(BigDelay ~ ArrDelay, data=flights, family=binomial(link="logit")) Warning messages: 1: In glm.fit(x = X, y = Y, weights = weights, start = start, etastart = etastart, : algorithm …

40 r  logistic  separation 

クラスが十分に分離されているときにロジスティック回帰が不安定になるのはなぜですか？よく分離されたクラスとはどういう意味ですか？誰かが例を使って説明できると本当にありがたいです。

34 r  regression  logistic  separation 

それぞれが特徴を持つデータポイントが与えられると、はとしてラベル付けされ、他のはとしてラベル付けされます。各フィーチャは、からランダムに値を取ります（均一な分布）。2つのクラスを分割できる超平面が存在する確率はどのくらいですか？、D N / 2 0 、N / 2 1 [ 0 、1 ]nnndddn/2n/2n/2000n/2n/2n/2111[0,1][0,1][0,1] まず最も簡単なケース、つまり考えてみましょう。d=1d=1d = 1

24 probability  classification  mathematical-statistics  separation 

私が作業している小さなデータセット（）では、いくつかの変数が完全な予測/分離を提供します。したがって、この問題に対処するには、Firthロジスティック回帰を使用します。n個〜100n〜100n\sim100 AICまたはBICで最適なモデルを選択した場合、これらの情報基準を計算するときに尤度に第5ペナルティ項を含める必要がありますか？

21 logistic  model-selection  aic  separation 

ロジスティック回帰における完全な分離について多くの良い議論があります。以下のような、R内のロジスティック回帰は、完全な分離（ハウク-ドナー現象）をもたらしました。それで？そして、ロジスティック回帰モデルは収束しません。 個人的には、なぜそれが問題になるのか、なぜ正則化を追加するとそれが修正されるのか、直観的ではないと感じています。私はいくつかのアニメーションを作成し、それが役立つと思います。そこで、彼の質問を投稿し、自分で答えてコミュニティと共有してください。

20 logistic  generalized-linear-model  optimization  intuition  separation 

私のプロジェクトでは、バイナリ分類（1または0）を予測するためのロジスティック回帰モデルを作成します。 15個の変数があり、そのうち2個はカテゴリ変数で、残りは連続変数と離散変数の混合です。 ロジスティック回帰モデルに適合するために、SVM、パーセプトロンまたは線形プログラミングのいずれかを使用して線形分離可能性をチェックすることをお勧めします。これは、線形分離性のテストに関するここでの提案と関連しています。 機械学習の初心者として、私は上記のアルゴリズムに関する基本的な概念を理解していますが、概念的には非常に多くの次元（この場合は15）を持つデータを分離する方法を視覚化するのに苦労しています。 オンライン資料のすべての例は、通常、2つの数値変数（高さ、重量）の2Dプロットを示しています。これは、カテゴリ間の明確なギャップを示し、理解しやすくしますが、実際のデータは通常、はるかに高い次元です。Irisデータセットに引き戻され続け、3つの種に超平面を当てはめようとしています。2つの種の間でそうすることが不可能ではないにしても、特に難しい方法です。 さらに高次元の場合、どのようにこれを達成しますか？この分離可能性を達成するためにカーネルを使用して高次元空間にマッピングする特定の数の特徴を超えると仮定されますか？ また、線形分離可能性をテストするために、使用されるメトリックは何ですか？SVMモデルの精度、つまり混同マトリックスに基づく精度ですか？ このトピックをよりよく理解するための助けをいただければ幸いです。また、以下はデータセット内の2つの変数のプロットのサンプルであり、これらの2つの変数だけが重なり合っていることを示しています。

14 machine-learning  logistic  classification  svm  separation 

Firthロジスティック回帰（ロジスティック回帰で完全/完全または準完全な分離を処理する方法）を理解しようとしているので、他の人に簡単に説明できます。FLETHの推定がMLEにどのような変更を加えているかについて、だれかが軽duした説明を持っていますか？ Firth（1993）を読みましたが、スコア関数に修正が適用されていることを理解しています。私は、補正の起源と正当化、およびスコア関数がMLEで果たす役割についてあいまいです。 これが初歩的な知識であれば申し訳ありません。私がレビューした文献は、私が持っているよりもはるかに深いMLEの理解を必要とするようです。

13 logistic  maximum-likelihood  separation 

私はを使用してモデルのチューニングを行ってきましたがcaret、gbmパッケージを使用してモデルを再実行しています。caretパッケージが使用gbmし、出力が同じである必要があることは私の理解です。ただし、を使用した簡単なテスト実行でdata(iris)は、評価指標としてRMSEとR ^ 2を使用したモデルで約5％の不一致が示されています。を使用して最適なモデルのパフォーマンスを見つけたいが、部分的な依存関係プロットを利用するためにcaret再実行しgbmます。再現性のために以下のコード。 私の質問は次のとおりです。 1）これらの2つのパッケージは同じであっても違いがあるのはなぜですか（確率的ですが、5％がやや大きな違いであることがわかります。特に、次のような素晴らしいデータセットを使用していない場合 iris、モデリングの） 。 2）両方のパッケージを使用する利点または欠点はありますか？ 3）無関係：irisデータセットを使用した場合、最適な値interaction.depthは5ですが、読み取り値が最大値floor(sqrt(ncol(iris)))である2 を超えるはずです。これは厳密な経験則ですか、それとも非常に柔軟ですか。 library(caret) library(gbm) library(hydroGOF) library(Metrics) data(iris) # Using caret caretGrid <- expand.grid(interaction.depth=c(1, 3, 5), n.trees = (0:50)*50, shrinkage=c(0.01, 0.001), n.minobsinnode=10) metric <- "RMSE" trainControl <- trainControl(method="cv", number=10) set.seed(99) gbm.caret <- train(Sepal.Length ~ ., data=iris, distribution="gaussian", method="gbm", trControl=trainControl, verbose=FALSE, tuneGrid=caretGrid, metric=metric, bag.fraction=0.75) …

12 r  caret  gbm  matrix  linear-algebra  logistic  modeling  logit  ordered-logit  r  confidence-interval  survival  population  weibull  classification  separation  hypothesis-testing  correlation  statistical-significance  p-value  python  r  data-visualization  r  regression  multiple-regression  chi-squared  multivariate-analysis  distributions  random-variable  experiment-design  distributions  poisson-regression  residuals  excel  time-series  garch  var  survival  modeling  cox-model  interaction  r  pca  normality-assumption 

二項応答変数とカテゴリカル予測子を使ってglmmを実行しています。ランダムな効果は、データ収集に使用されるネストされたデザインによって与えられます。データは次のようになります。 m.gen1$treatment [1] sucrose control protein control no_injection ..... Levels: no_injection control sucrose protein m.gen1$emergence [1] 1 0 0 1 0 1 1 1 1 1 1 0 0.... > m.gen1$nest [1] 1 1 1 2 2 3 3 3 3 4 4 4 ..... Levels: 1 2 3 4 …

11 r  generalized-linear-model  lme4-nlme  separation 

のmgcvパッケージにRは、テンソル積の相互作用をフィッティングするための2つの関数がte()ありti()ます。私は2つの作業の基本的な分業を理解しています（非線形の相互作用を当てはめるか、この相互作用を主効果と相互作用に分解するか）。私が理解していないのは、なぜte(x1, x2)、そしてti(x1) + ti(x2) + ti(x1, x2)（わずかに）異なる結果を生成するのかということです。 MWE（から適応?ti）： require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f + rnorm(n)*0.2 par(mfrow = c(2,2)) # …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

私はロジスティック回帰の間に巨大な係数を取得しkrajULKVます。 > summary(m5) Call: glm(formula = cbind(ml, ad) ~ rok + obdobi + kraj + resid_usili2 + rok:obdobi + rok:kraj + obdobi:kraj + kraj:resid_usili2 + rok:obdobi:kraj, family = "quasibinomial") Deviance Residuals: Min 1Q Median 3Q Max -2.7796 -1.0958 -0.3101 1.0034 2.8370 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -486.72087 …

9 regression  logistic  generalized-linear-model  separation 

上の画像を参照してください。明らかに、円は2つのクラスを分けることができます（左の画像）。なぜそれを関数にマップして線形分離可能にするためにそれほど苦労するのですか（右の画像）？ 誰か説明していただけますか？私は本当にウェブやYouTubeで講義を見つけることができませんでした

8 machine-learning  classification  svm  separation 

私たちは、私たちが作る意味し、ランダムずに線形回帰をシミュレートすることができの代わりに、。次に、線形モデルを当てはめると、係数は「グラウンドトゥルース」と同じになります。例を示します。Y = X β + εy=Xβy=Xβy=X\betay=Xβ+ϵy=Xβ+ϵy=X\beta+\epsilon set.seed(0) n <- 1e5 p <- 3 X <- matrix(rnorm(n*p), ncol=p) beta <- runif(p) # y <- X %*% beta + rnorm(n)*0.5 # remove the randomness y <- X %*% beta dat <- data.frame(y=y, x=X) lm.res = lm(y ~ .-1, data=dat) norm(as.matrix(lm.res$coefficients - beta)) …

8 r  logistic  regularization  linear  separation