タグ付けされた質問 「logistic」

scikit-learnを使用して、一連のデータ（7000を超える正規化された観測値を持つ約14のパラメーター）に対して交差検証を使用したロジスティック回帰を実行しています。また、1または0の値を持つターゲット分類子もあります。 私が抱えている問題は、使用するソルバーに関係なく、収束の警告が表示され続けることです... model1 = linear_model.LogisticRegressionCV(cv=10,verbose=1,n_jobs=-1,scoring='roc_auc',solver='newton-cg',penalty='l2') /home/b/anaconda/lib/python2.7/site-packages/scipy/optimize/linesearch.py:285: LineSearchWarning: The line search algorithm did not converge warn('The line search algorithm did not converge', LineSearchWarning) /home/b/anaconda/lib/python2.7/site-packages/sklearn/utils/optimize.py:193: UserWarning: Line Search failed model2 = linear_model.LogisticRegressionCV(cv=10,verbose=1,n_jobs=-1,scoring='roc_auc',solver='sag',penalty='l2') max_iter reached after 2 seconds max_iter reached after 2 seconds max_iter reached after 2 seconds max_iter reached after 2 seconds …

13 logistic  cross-validation  scikit-learn 

ロジスティック回帰分析における連続予測子変数のロジットへの線形性の仮定と混同しています。単変量ロジスティック回帰分析を使用して潜在的な予測子をスクリーニングしながら、線形関係をチェックする必要がありますか？ 私の場合は、多重ロジスティック回帰分析を使用して、参加者間の栄養状態（二分結果）に関連する要因を特定しています。年齢、Charlson併存症スコア、Barthel Indexスコア、握力、GDSスコア、BMIなどの連続変数。最初のステップは、単純なロジスティック回帰を使用して有意な変数をスクリーニングすることです。各連続変数の単純なロジスティック回帰分析中に線形性の仮定を確認する必要がありますか？それとも、最終的な多重ロジスティック回帰モデルで確認するだけですか？ さらに、私の理解のために、モデルに入力する前に非線形連続変数を変換する必要があります。変換の代わりに非線形連続変数を分類できますか？

13 regression  logistic  assumptions  splines  regression-strategies 

ゲームが、完了時に報酬を与えるか、何も与えないイベントを提供するとします。報酬が与えられるかどうかを決定する正確なメカニズムは不明ですが、乱数ジェネレーターが使用されていると想定しています。結果がハードコードされた値よりも大きい場合は、報酬が得られます。 報酬が与えられる頻度を決定するためにプログラマーが使用した値（推定15-30％）を基本的にリバースエンジニアリングする場合、必要なサンプル数をどのように計算しますか？ 私はここの「真の確率の推定」セクションから始めました：Checking_whether_a_coin_is_fair、しかし私が正しい道を進んでいるかどうか確信がありません。95％の信頼度で最大3％のエラーが発生するために必要な〜1000サンプルの結果が得られました。 最終的に、私が解決しようとしているのは次のとおりです。 イベント＃1は1.0Rの報酬を与え、時間のX％ イベント＃2は、時間のY％で報酬1.4Rを提供します XとYを正確に見積もり、どのイベントがより効率的かを判断したいと思います。最大で20分ごとに1つのサンプルしか取得できないため、サンプルサイズが大きいと問題になります。

13 logistic  mathematical-statistics  sample-size  power-analysis  bernoulli-distribution 

ロジスティック回帰がWebのクリック率の予測に頻繁に使用される理由の1つは、適切に調整されたモデルが生成されることです。これについての良い数学的な説明はありますか？

13 regression  logistic 

最近の論文でノートンら。（2018）は[ 1 ][1]^{[1]} オッズ比の推定値をもたらす統計モデルの説明変数が異なる場合、各モデルには異なる任意のスケーリング係数があるため、同じスタディの異なるオッズ比は比較できません。異なるサンプルと異なるモデル仕様には異なる任意のスケーリング係数があるため、ある研究のオッズ比の大きさを別の研究のオッズ比の大きさと比較することもできません。さらに、複数の研究における特定の関連性のオッズ比の大きさをメタ分析で合成することはできません。 小さなシミュレーションがこれを示しています（Rコードは質問の下部にあります）。真のモデルは次のようになります： さらに、上記のモデルによって生成された同じデータが、ロジスティック回帰を使用して4人の異なる研究者によって分析されることを想像してください。研究者1には共変量としてのみが含まれ、研究者2にはと両方が含まれます。4人の研究者ののオッズ比の平均シミュレーション推定値は次のとおりです。l o g i t（ y私）= 1 + ログ（2 ）x1 i+ ログ（2.5 ）x2 i+ ログ（3 ）x3 i+ 0 x4 ilog私t（y私）=1+ログ⁡（2）バツ1私+ログ⁡（2.5）バツ2私+ログ⁡（3）バツ3私+0バツ4私 \mathrm{logit}(y_{i})=1 + \log(2)x_{1i} + \log(2.5)x_{2i} + \log(3)x_{3i} + 0x_{4i} バツ1バツ1x_{1}バツ1バツ1x_{1}バツ2バツ2x_{2}バツ1バツ1x_{1} res_1 res_2 res_3 res_4 1.679768 1.776200 2.002157 2.004077 研究者3と4だけが約正しいオッズ比を得るのに対して、研究者1と2はそうではないことは明らかです。これは線形回帰では発生せず、同様のシミュレーションで簡単に表示できます（ここでは示していません）。この問題はよく知られているように思えますが、この結果は私にとって非常に驚くべきものだったことを告白しなければなりません。ヘルナンら。（2011）は、これをバイアスではなく「数学的な奇妙」と呼んでいます。222[ 2 ][2]^{[2]}[ 3 ][3]^{[3]} 私の質問： オッズ比が基本的に研究およびモデル間で比較できない場合、バイナリの結果について異なる研究の結果をどのように組み合わせることができますか？ …

12 r  logistic  meta-analysis  odds-ratio  adjustment 

パラメーター推定/ロジスティック回帰のトレーニングは実際にどのように機能しますか？これまでに手に入れたものを入れようとします。 出力はyであり、xの値に応じた確率の形でのロジスティック関数の出力： P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx) P(y=0|x)=1−P(y=1|x)=1−11+e−ωTxP(y=0|x)=1−P(y=1|x)=1−11+e−ωTxP(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}} 1つの次元について、いわゆるオッズは次のように定義されます p(y=1|x)1−p(y=1|x)=p(y=1|x)p(y=0|x)=eω0+ω1xp(y=1|x)1−p(y=1|x)=p(y=1|x)p(y=0|x)=eω0+ω1x{{p(y=1|x)}\over{1-p(y=1|x)}}={{p(y=1|x)}\over{p(y=0|x)}}=e^{\omega_0+\omega_1x} 次にlog、線形形式でW_0およびW_1を取得する関数を追加します Logit(y)=log(p(y=1|x)1−p(y=1|x))=ω0+ω1xLogit(y)=log(p(y=1|x)1−p(y=1|x))=ω0+ω1xLogit(y)=log({{p(y=1|x)}\over{1-p(y=1|x)}})=\omega_0+\omega_1x さて問題の部分へ 尤度の使用（Big X is y） L(X|P)=∏i=1,yi=1NP(xi)∏i=1,yi=0N(1−P(xi))L(X|P)=∏i=1,yi=1NP(xi)∏i=1,yi=0N(1−P(xi))L(X|P)=\prod^N_{i=1,y_i=1}P(x_i)\prod^N_{i=1,y_i=0}(1-P(x_i)) y = 1の確率を2回考慮している理由は誰にもわかりますか？以来： P(y=0|x)=1−P(y=1|x)P(y=0|x)=1−P(y=1|x)P(y=0|x)=1-P(y=1|x) そして、それからωの値をどのように取得しますか

12 regression  logistic  likelihood 

私はを使用してモデルのチューニングを行ってきましたがcaret、gbmパッケージを使用してモデルを再実行しています。caretパッケージが使用gbmし、出力が同じである必要があることは私の理解です。ただし、を使用した簡単なテスト実行でdata(iris)は、評価指標としてRMSEとR ^ 2を使用したモデルで約5％の不一致が示されています。を使用して最適なモデルのパフォーマンスを見つけたいが、部分的な依存関係プロットを利用するためにcaret再実行しgbmます。再現性のために以下のコード。 私の質問は次のとおりです。 1）これらの2つのパッケージは同じであっても違いがあるのはなぜですか（確率的ですが、5％がやや大きな違いであることがわかります。特に、次のような素晴らしいデータセットを使用していない場合 iris、モデリングの） 。 2）両方のパッケージを使用する利点または欠点はありますか？ 3）無関係：irisデータセットを使用した場合、最適な値interaction.depthは5ですが、読み取り値が最大値floor(sqrt(ncol(iris)))である2 を超えるはずです。これは厳密な経験則ですか、それとも非常に柔軟ですか。 library(caret) library(gbm) library(hydroGOF) library(Metrics) data(iris) # Using caret caretGrid <- expand.grid(interaction.depth=c(1, 3, 5), n.trees = (0:50)*50, shrinkage=c(0.01, 0.001), n.minobsinnode=10) metric <- "RMSE" trainControl <- trainControl(method="cv", number=10) set.seed(99) gbm.caret <- train(Sepal.Length ~ ., data=iris, distribution="gaussian", method="gbm", trControl=trainControl, verbose=FALSE, tuneGrid=caretGrid, metric=metric, bag.fraction=0.75) …

12 r  caret  gbm  matrix  linear-algebra  logistic  modeling  logit  ordered-logit  r  confidence-interval  survival  population  weibull  classification  separation  hypothesis-testing  correlation  statistical-significance  p-value  python  r  data-visualization  r  regression  multiple-regression  chi-squared  multivariate-analysis  distributions  random-variable  experiment-design  distributions  poisson-regression  residuals  excel  time-series  garch  var  survival  modeling  cox-model  interaction  r  pca  normality-assumption 

私は私のモデルで比較する（との差をとる）の最終目標を持つ2つの因子レベル間の予測の平均数をポアソン回帰しております μ 1 - μ 2μ^1- μ^2μ^1−μ^2\hat{\mu}_1-\hat{\mu}_2、他のモデルの共変量を保持しながら、（すべてのバイナリであります） 絶え間ない。ログリンクとIDリンクのどちらを使用するかについて、誰かが実際的なアドバイスを提供できるかどうか疑問に思っていました。差を比較するという私の目標を考えると、ポアソン回帰におけるこれら2つの異なるリンク関数の長所と短所は何ですか？ また、ロジスティック/二項回帰（ロジットリンクまたはIDリンクを使用）についても同じ目標を念頭に置いて、2つの因子レベル間の比率の違いを比較し、同様のアドバイスが必要です。この問題に関連するいくつかの投稿を読んだことがありますが、なぜか、いつ他のリンクよりも1つのリンクを選択し、賛否両論がどうなるかを説明するものはありません。よろしくお願いします！ 更新： また、特定のリンク機能を使用する主な目的は、可能な予測値の範囲範囲を平均応答の範囲内に制限することであることを認識しています（たとえば、ロジスティックの場合、範囲は0から1の間で、リンク、予測は正の数に制限されます）。だから、私が求めているのは、ロジスティック/二項回帰にアイデンティティリンクを使用し、結果が範囲（0,1）内にある場合、実際にロジスティックリンク関数を使用する必要があるかどうかです単純に識別リンクを使用するように考えられますか？

12 logistic  poisson-regression  link-function 

現在、分類方法を教えています。具体的には、サポートベクターマシン、ニューラルネットワーク、ロジスティック回帰の3つの方法を検討しています。私が理解しようとしているのは、ロジスティック回帰が他の2つよりも優れたパフォーマンスを発揮する理由です。 ロジスティック回帰の私の理解から、アイデアはデータ全体にロジスティック関数を適合させることです。したがって、データがバイナリの場合、ラベル0のすべてのデータは値0（またはそれに近い）にマッピングされ、値1のすべてのデータは値1（またはそれに近い）にマッピングされる必要があります。ロジスティック関数は連続的で滑らかなので、この回帰を実行するには、すべてのデータが曲線に適合する必要があります。決定境界付近のデータポイントに適用される重要性はこれ以上なく、すべてのデータポイントが異なる量で損失に寄与します。 ただし、サポートベクターマシンとニューラルネットワークでは、決定境界付近のデータポイントのみが重要です。データポイントが決定境界の同じ側にある限り、同じ損失をもたらします。 したがって、決定の周りの難しいデータだけに焦点を合わせるのではなく、多くの重要でない（分類​​しやすい）データに曲線を当てはめようとすると「リソースを浪費する」ため、ロジスティック回帰はサポートベクターマシンまたはニューラルネットワークよりも優れています。境界？

12 regression  machine-learning  logistic  classification  regression-strategies 

私は質問とその答えに言及しています：ロジスティック回帰から開発されたモデルの予測能力を比較する方法（確率）？@Clark Chong、@ Frank Harrellによる回答/コメント。そして、Hosmer-Lemeshowテストとコメントの自由度χ2χ2\chi^2の質問に。 私は紙の読み持っDWホズマー、T.ホズマー、S.ルCessie、S. Lemeshow、「ロジスティック回帰モデルの適合度検定の比較」、医学、巻で統計を。16、965-980（1997）。 読んだ後、私が言及した質問が「（確率）予測能力」を明示的に求めているので混乱しました。これは、私の意見では、上記の論文の適合度テストの目的と同じではありません。 ほとんどの人が知っているように、ロジスティック回帰は説明変数と成功の確率の間のS字型のリンクを想定しています。S字型の関数型は P（y= 1 |バツ私）= 11 + e− （β0+ ∑私β私バツ私）P（y=1|バツ私）=11+e−（β0+∑私β私バツ私）P(y=1|_{x_i})=\frac{1}{1+e^{-(\beta_0+\sum_i \beta_i x_i)}} Hosmer-Lemeshow検定に欠点がないというふりをせずに、（a）'（確率）予測能力 'と（b） ' 適合度 'の検定を区別する必要があると思います。 前者の目標は、確率が十分に予測されているかどうかをテストすることです。一方、適合度テストは、上記のS字型関数が「正しい」関数であるかどうかをテストします。より正式には： 「確率予測能力テスト」のテストには、成功確率がモデルによって十分に予測されていることを示すがあります。H0H0H_0 一方、適合度テストでは、は（上記のHosmer et al。を参照）S字型の関数型が正しいものです。ホスマー等。ヌルからの2種類の偏差、つまりリンク関数が間違っていること、または分母の指数が線形でないことを検出する能力を見つけるシミュレーションを実行します。H0H0H_0 明らかに、上記の関数が「正しい」関数形式を持っている場合（したがって、適合度テストのためにを受け入れることができるとテストが結論付けた場合）、予測される確率は良好です...H0H0H_0 最初の発言 ...しかし、を受け入れることは、帰無仮説を棄却できない場合に続くことで説明されているように、弱い結論です。。H0H0H_0 最初の質問 私が持っている最も重要な質問/発言は、適合度が拒否された場合、テストの結論は機能的形式が「正しい」ものではなかったということですが、これは確率がよく予測されていない？H0H0H_0 二番目の質問 さらに、Hosmer et。al。の結論を指摘したい。al; （要約から引用）： ''正しいモデルには2次項があり、線形項のみを含むモデルが適合している場合のテストのパフォーマンスの検査は、ピアソンカイ2乗、重み付けされていない2乗和、Hosmer-Lemeshow十分位リスクの平滑化された残差平方和とStukelのスコアテストは、サンプルサイズが100のときに線形性から中程度の逸脱を検出するために50％を超える検出力を持ち、サイズ500のサンプルのこれらの同じ代替に対して90％を超える検出力を持ちます。正しいモデルに2項共変量と連続共変量の相互作用がある場合、すべてのテストには力がありませんでしたが、連続共変量モデルのみが適合しました。誤って指定されたリンクを検出する能力は、サイズ100のサンプルでは不十分でした。サイズ500のサンプルでは、​​Stukel ' sスコアテストは最高の性能を発揮しましたが、非対称リンク機能を検出するには50％を超えていました。誤って指定されたリンク関数を検出するための重みなし二乗和テストの能力は、Stukelのスコアテストよりもわずかに低かった '' このことから、どのテストがより強力であるか、またはHosmer-Lemeshowの方が（これらの特定の異常を検出するために）より少ないと結論付けることができますか？ 第二の発言 Hosmer et。による論文 al。前述のように、特定の異常を検出するために電力を計算（シミュレーション）します（電力はが指定されている場合にのみ計算できます）。これは、これらの結果を「すべての可能な代替案」に一般化できることを意味するものではありません。H1H1H_1H1H1H_1

12 hypothesis-testing  logistic  predictive-models  regression-strategies  hosmer-lemeshow-test 

ロジスティック回帰で得られた係数からオッズ比の95％信頼区間を構築する方法を研究しています。したがって、ロジスティック回帰モデルを検討すると、 log(p1−p)=α+βxlog⁡(p1−p)=α+βx \log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE} 制御グループではx = 0、ケースグループではx = 1などです。x=0x=0x = 0x=1x=1x = 1 \ betaの 95％CIを構築するのが最も簡単な方法であることをすでに読んだのでββ\beta、指数関数を適用しました。つまり、 β^±1.96×SE(β^)→exp{β^±1.96×SE(β^)}β^±1.96×SE(β^)→exp⁡{β^±1.96×SE(β^)} \hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\} 私の質問は： この手順を正当化する理論的な理由は何ですか？\ mbox {odds ratio} = \ exp \ {\ beta \}を知ってodds ratio=exp{β}odds ratio=exp⁡{β}\mbox{odds …

12 logistic  confidence-interval  odds-ratio  delta-method 

リッジ回帰は、元のデータ行列にデータの行を追加するだけで達成できることを読みました。各行は、従属変数に0 、独立変数にkkk平方根またはゼロを使用して構築されます。次に、独立変数ごとに1行追加されます。 ロジスティック回帰や他のGLMを含め、すべての場合に証拠を導き出すことが可能かどうか疑問に思っていました。

12 logistic  generalized-linear-model  ridge-regression 

Randomized Logistic Regression（RLR）とプレーンLogistic Regression（LR）の違いを知りたいので、Meinshausenなどによる論文「Stability Selection」を読んでいます。; ただし、RLRとは何か、RLRとLRの違いはわかりません。 誰かがRLRを理解するために読むべきことを指摘できますか？または、簡単な例はありますか？

12 machine-learning  logistic 

私は、英国の頭部外傷の全国外傷データベースからの遡及データに基づいてロジスティック回帰モデルを開発しています。主要な結果は30日間の死亡率です（「生存率」指標として示されます）。以前の研究の結果に対する有意な効果の公表された証拠を持つ他の測定には、以下が含まれます： Year - Year of procedure = 1994-2013 Age - Age of patient = 16.0-101.5 ISS - Injury Severity Score = 0-75 Sex - Gender of patient = Male or Female inctoCran - Time from head injury to craniotomy in minutes = 0-2880 (After 2880 minutes is defined as a …

12 r  logistic  generalized-linear-model  goodness-of-fit  regression-strategies 

概要：標準正規分布ではなく、ロジスティック回帰係数のテストに分布（残留偏差に基づく自由度を伴う）の使用をサポートする統計理論はありますか？ttt SAS PROC GLIMMIXでロジスティック回帰モデルをフィッティングする際、デフォルト設定でロジスティック回帰係数が標準正規分布ではなく分布を使用してテストされることを少し前に発見しました。つまり、GLIMMIXはの比率で列を報告します（この質問の残りの部分ではと呼びます）、ただし「自由度」列、および分布を仮定した値も報告しますttt11^1β^1/ var （β^1）−−−−−−√β^1/var（β^1）\hat{\beta}_1/\sqrt{\text{var}(\hat{\beta}_1)}zzzppptttzzz残差偏差に基づく自由度-つまり、自由度=観測の総数からパラメータの数を引いたもの。この質問の最後に、デモンストレーションと比較のためにRとSASでコードと出力を提供します。22^2 ロジスティック回帰などの一般化線形モデルでは、この場合の分布の使用をサポートする統計理論はないと考えていたため、これは私を混乱させました。代わりに、この事件について私たちが知っていることはttt zzzは「ほぼ」正規分布しています。 この近似は、サンプルサイズが小さい場合には不十分です。 それにもかかわらず、が正規回帰の場合に想定できるような分布を持っていると想定することはできません。zzzttt さて、直感的なレベルでは、がほぼ正規分布している場合、実際には、正確にでなくても、基本的に「似た」分布を持っているかもしれません。したがって、ここでの分布の使用はおかしくないようです。しかし、私が知りたいことは次のとおりです。zzzttttttttt 実際、ロジスティック回帰および/または他の一般化線形モデルの場合、実際に分布に従うことを示す統計理論はありますか？zzzttt そのような理論がない場合、この方法で分布を仮定することは、正規分布を仮定することと同様に、またはそれよりもさらに良いことを示す論文が少なくともありますか？ttt より一般的には、おそらく基本的に賢明であるという直感以外に、GLIMMIXがここで行っていることに対する実際のサポートはありますか？ Rコード： summary(glm(y ~ x, data=dat, family=binomial)) R出力： Call: glm(formula = y ~ x, family = binomial, data = dat) Deviance Residuals: Min 1Q Median 3Q Max -1.352 -1.243 1.025 1.068 1.156 Coefficients: Estimate Std. Error z …

12 r  logistic  mathematical-statistics  sas  degrees-of-freedom