タグ付けされた質問 「logistic」

ロジスティック回帰の逸脱度について読みました。ただし、飽和モデルと呼ばれる部分は明確ではありません。 Googleで大規模な検索を行いましたが、私の質問に答える結果はありませんでした。これまでのところ、飽和モデルには各観測値のパラメーターがあり、結果として完全に適合することがわかっています。これは私には明らかです。しかし：さらに、（飽和モデルの）適合値は、観測値に等しくなります。 私の知る限り、ロジスティック回帰は分類に使用されるため、特定の観測データは追加のラベル持つ共変量です。ただし、逸脱測度は確率を使用しますが、実際のラベルは使用しません。ロジスティック回帰の計算された予測確率と観測された確率を適用します。しかし、確率ではなくラベルだけを与えているので、これらのラベルから飽和モデルを構築する方法を混乱していますか？y∈{0,1}y∈{0,1}y \in \{0,1\}

17 logistic  deviance 

ロジスティック回帰および線形回帰の省略された変数バイアスについて質問があります。 線形回帰モデルからいくつかの変数を省略したとします。これらの省略された変数は、モデルに含めた変数と無相関であると仮定します。これらの省略された変数は、私のモデルの係数にバイアスをかけません。 しかし、ロジスティック回帰では、これは真実ではないことがわかりました。省略された変数が含まれた変数と無相関であっても、省略された変数は含まれた変数の係数にバイアスをかけます。私はこのトピックに関する論文を見つけましたが、それについて頭や尾を作ることはできません。 これが論文とパワーポイントのスライドです。 バイアスは、明らかにゼロに向かっています。誰もこれがどのように機能するか説明できますか？

17 regression  logistic  least-squares  bias 

この順序ロジスティック回帰をRで実行しました。 mtcars_ordinal <- polr(as.factor(carb) ~ mpg, mtcars) 私はこのモデルの概要を得ました： summary(mtcars_ordinal) Re-fitting to get Hessian Call: polr(formula = as.factor(carb) ~ mpg, data = mtcars) Coefficients: Value Std. Error t value mpg -0.2335 0.06855 -3.406 Intercepts: Value Std. Error t value 1|2 -6.4706 1.6443 -3.9352 2|3 -4.4158 1.3634 -3.2388 3|4 -3.8508 1.3087 -2.9425 …

17 r  regression  logistic  interpretation  ordered-logit 

私は2つのグループの被験者AとBを持ち、それぞれ約400のサイズと約300の予測変数を持っています。私の目標は、バイナリ応答変数の予測モデルを構築することです。私の顧客は、AからBに構築されたモデルを適用した結果を見たいと思っています（彼の本、「回帰モデリング戦略」で、@ FrankHarrellは、2つのデータセットを組み合わせて、パワーと精度--- 90ページ、外部検証を参照してください。私が持っているデータの種類を収集するのは非常に費用と時間がかかることを考えると、私は彼に同意する傾向があります。 。）私の予測子の多くは、非常に相関があり、非常に歪んでいます。ロジスティック回帰を使用して、予測モデルを構築しています。 私の予測子は主に力学から来ています。たとえば、対象がおよびさまざまな値に対して期間しきい値よりも高いストレス下にあった合計時間。それらの定義から、これらの合計時間の多くが互いに代数的に関連していることは明らかです。代数的に関連していない予測因子の多くは、それらの性質のために関連している：期間中に高応力下にある科目期間中に高応力下になる傾向がありも、αα\alpha[t1,t2][t1,t2][t_1, t_2]α&gt;0α&gt;0\alpha > 00≤t1&lt;t20≤t1&lt;t20 \leq t_1 < t_2[t1,t2][t1,t2][t_1, t_2][t3,t4][t3,t4][t_3,t_4][t1,t2]∩[t3,t4]=∅[t1,t2]∩[t3,t4]=∅[t_1,t_2] \cap [t_3,t_4] = \emptyset。データの次元を削減するために、関連する予測変数をクラスター化し（たとえば、すべての合計ストレス時間を一緒に）、主成分分析を使用して各クラスターを表しました。変数が歪んでいるため、2つの代替パスを試しました。 PCAを実行する前に、変数のスキューを減らすために対数変換を使用しました。 Rのパッケージrrcov（PcaHubert）で実装されているMia HubertのROBPCAアルゴリズムを使用して、堅牢な主成分を見つけました。 ROC曲線の全体形状、精密リコール曲線の形状、およびROC曲線下面積（AUC）をパフォーマンス測定として使用していますが、データセットAとBの両方で同様の結果を取得したいです。堅牢な主成分を使用することでより良い結果が得られると期待していましたが、驚いたことに、最初の方法の方が優れていました。曲線。 これの説明は何ですか？そして、データを通常のように見せようとする代わりに、堅牢な主成分をどのように使用できますか？ROBPCAの代わりに推奨する特定の堅牢なPCAメソッドはありますか？

17 pca  logistic  predictive-models  robust 

いくつかのロジスティック回帰を使用しており、平均推定確率は常にサンプル内の確率の割合に等しいことがわかりました。つまり、近似値の平均はサンプルの平均に等しくなります。 誰かが私に理由を説明したり、このデモを見つけることができる参照を教えてもらえますか？

17 regression  logistic  modeling  generalized-linear-model  maximum-likelihood 

適合モデル（文献から）があります。予測変数の生データもあります。 確率を得るために使用すべき方程式は何ですか？基本的に、生データと係数を組み合わせて確率を得るにはどうすればよいですか？

17 regression  logistic 

この質問に正しい方法で質問できることを望んでいます。プレイバイプレイのデータにアクセスできるため、最適なアプローチとデータの適切な構築が問題になります。 私がやろうとしているのは、規定に残っているスコアと時間を考慮して、NHLゲームに勝つ確率を計算することです。ロジスティック回帰を使用できると考えていますが、データセットがどのように見えるかはわかりません。ゲームごとに、また興味のある時間ごとに複数の観察結果がありますか？ゲームごとに1つの観測値があり、時間のスライスごとに個別のモデルに適合しますか？ロジスティック回帰は正しい方法でもありますか？ あなたが提供できるどんな援助も大歓迎です！ 宜しくお願いします。

17 time-series  probability  logistic 

教師あり学習の信頼度を確率に調整する（たとえば、オーバーサンプリングデータを使用してSVMまたは決定木から信頼度をマップする）方法の1つは、Plattのスケーリングを使用することです（たとえば、ブースティングから調整済み確率を取得する）。 基本的には、ロジスティック回帰を使用してをにマッピングします。従属変数は真のラベルであり、予測子は未較正モデルからの信頼度です。私が理解していないのは、1または0以外のターゲット変数の使用です。このメソッドは、新しい「ラベル」の作成を呼び出します。[−∞;∞][−∞;∞][-\infty;\infty][0;1][0;1][0;1] シグモイド列セットへの過剰適合を回避するために、サンプル外モデルが使用されます。ある場合正例と各トレーニング例えば列車セット内の負例、プラットキャリブレーションが使用目標値及び（代わりに、1と0のそれぞれ）、 N+N+N_+N−N−N_-y+y+y_+y−y−y_-y+=N++1N++2;y−=1N−+2y+=N++1N++2;y−=1N−+2 y_+=\frac{N_++1}{N_++2};\quad\quad y_-=\frac{1}{N_-+2} 私が理解していないのは、この新しいターゲットの有用性です。ロジスティック回帰では、従属変数をバイナリラベルとして扱うだけではありませんか（どのラベルが指定されているかに関係なく）。 更新： SASで依存関係をから別の何かに変更すると、同じモデルに戻ります（を使用）。おそらく私のエラーか、多分SASの汎用性の欠如でしょう。Rでモデルを変更できました。例として：1/01/01/0PROC GENMOD data(ToothGrowth) attach(ToothGrowth) # 1/0 coding dep &lt;- ifelse(supp == "VC", 1, 0) OneZeroModel &lt;- glm(dep~len, family=binomial) OneZeroModel predict(OneZeroModel) # Platt coding dep2 &lt;- ifelse(supp == "VC", 31/32, 1/32) plattCodeModel &lt;- glm(dep2~len, family=binomial) plattCodeModel predict(plattCodeModel) compare &lt;- cbind(predict(OneZeroModel), predict(plattCodeModel)) plot(predict(OneZeroModel), predict(plattCodeModel))

17 logistic  cross-validation  calibration 

人のグループが1つの質問に答えます。答えは「はい」または「いいえ」です。研究者は、年齢が回答のタイプに関連しているかどうかを知りたいと考えています。 この関係は、年齢が説明変数であり、回答のタイプ（yes、no）が従属変数であるロジスティック回帰を行うことにより評価されました。それぞれ「はい」および「いいえ」と答えたグループの平均年齢を計算し、平均を比較するためにT検定を実施することにより、個別に対処しました。 両方のテストは異なる人のアドバイスに従って実行されましたが、どちらも正しい方法であるかどうかはわかりません。研究の質問を考慮して、より良いテストはどれですか？ 仮説検定では、p値は有意（回帰）および有意（T検定）ではありませんでした。サンプルは20ケース未満です。

17 regression  logistic  t-test 

質問 Gradient Boostingを使用してバイナリ分類を行うときに、予測が間隔内にどのように保持されるかを理解するのに苦労しています。[ 0 、1 ][0、1][0,1] バイナリ分類問題に取り組んでおり、目的関数は対数損失であり、はターゲット変数、は現在のモデルです。− ∑ y私ログ（Hm（x私））+ （1 − y私）ログ（1 − Hm（x私））−∑y私ログ⁡（Hm（バツ私））+（1−y私）ログ⁡（1−Hm（バツ私））-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i))yyy∈ { 0 、1 }∈{0、1}\in \{0,1\}HHH 新しいモデルがになるように次の弱学習トレーニングする場合、を維持するはずのメカニズムは何ですか？または、より関連性の高い質問かもしれませんが、そのようなメカニズムはありますか？hihih_iHi=Hi−1+hiHi=Hi−1+hiH_i = H_{i-1} + h_iHi∈ [ 0,1]Hi∈[0,1]H_i \in [0,1] 私がやっていることの詳細 回帰ツリーを使用して、勾配ブースティングを実装しようとしています。それを避けるために、H + c _ {\ text {max}} hがゼロ以下にならないように、h私h私h_iに係数c \ in [0、c _ {\ text {max}}]を掛けます 1つ、および損失関数を最小化するこの範囲でcを選択します。C …

17 logistic  classification  boosting 

損失の二乗を使用して、玩具データセットのバイナリ分類を試みています。 私が使用していmtcarsた透過型を予測するために、データセット、ガロンあたりの利用マイルと体重を。以下のプロットは、異なる色の2種類の透過型データと、異なる損失関数によって生成された判定境界を示しています。二乗損失がある グランドトゥルースラベル（0または1）であり、予測確率である。言い換えれば、私はロジスティック損失を分類設定の平方損失に置き換えています。他の部分は同じです。∑私（y私− p私）2∑私（y私−p私）2\sum_i (y_i-p_i)^2y私y私y_ip私p私p_ip私= ロジット− 1（βTバツ私）p私=ロジット−1（βTバツ私）p_i=\text{Logit}^{-1}(\beta^Tx_i) mtcarsデータを使用したおもちゃの例では、多くの場合、ロジスティック回帰に「類似した」モデルが得られました（ランダムシード0の次の図を参照）。 しかし、ある場合（そうする場合set.seed(1)）、二乗損失はうまく機能していないようです。 ここで何が起きてるの？最適化は収束しませんか？ロジスティック損失は、二乗損失と比較して最適化が容易ですか？任意の助けをいただければ幸いです。 コード d=mtcars[,c("am","mpg","wt")] plot(d$mpg,d$wt,col=factor(d$am)) lg_fit=glm(am~.,d, family = binomial()) abline(-lg_fit$coefficients[1]/lg_fit$coefficients[3], -lg_fit$coefficients[2]/lg_fit$coefficients[3]) grid() # sq loss lossSqOnBinary&lt;-function(x,y,w){ p=plogis(x %*% w) return(sum((y-p)^2)) } # ---------------------------------------------------------------- # note, this random seed is important for squared loss work # ---------------------------------------------------------------- set.seed(0) x0=runif(3) x=as.matrix(cbind(1,d[,2:3])) y=d$am opt=optim(x0, lossSqOnBinary, …

16 r  machine-learning  logistic  optimization  loss-functions 

標準化されたPearson Residualsは、従来の確率論的な方法で取得されることを知っています。 r私= y私- π私π私（1 - π私）−−−−−−−−√r私=y私−π私π私（1−π私） r_i = \frac{y_i-\pi_i}{\sqrt{\pi_i(1-\pi_i)}} および逸脱残差は、より統計的な方法（各ポイントの尤度への寄与）によって取得されます。 d私= s私− 2 [ y私ログπ私^+ （1 − y私）ログ（1 - π私）]−−−−−−−−−−−−−−−−−−−−−−−−−−√d私=s私−2[y私ログ⁡π私^+（1−y私）ログ⁡（1−π私）] d_i = s_i \sqrt{-2[y_i \log \hat{\pi_i} + (1 - y_i)\log(1-\pi_i)]} ここで、 = 1の場合 = 1及び = -1であれば = 0。s私s私s_iy私y私y_is私s私s_iy私y私y_i 逸脱残差の式をどのように解釈するか、直感的に説明できますか？ さらに、1つを選択したい場合、どちらがより適切で、なぜですか。 ところで、いくつかの参考文献は、用語に基づいて逸脱残差を導出すると主張しています − 12r私2−12r私2-\frac{1}{2}{r_i}^2 ここで、は上記のとおりです。r私r私r_i

16 regression  logistic  generalized-linear-model  residuals  deviance 

私が理解しているように、ロジスティックシグモイド活性化関数を備えたパーセプトロン/単層人工ニューラルネットワークは、ロジスティック回帰と同じモデルです。両方のモデルは次の方程式で与えられます： F（x ）= 11 − e- βバツF（バツ）=11−e−βバツF(x) = \frac{1}{1-e^{-\beta X}} パーセプトロン学習アルゴリズムはオンラインでエラー駆動型ですが、ロジスティック回帰のパラメーターは、勾配降下や制限メモリBFGSなどのさまざまなバッチアルゴリズム、または確率勾配降下などのオンラインアルゴリズムを使用して学習できます。ロジスティック回帰とシグモイドパーセプトロンの間に他の違いはありますか？確率的勾配降下法で訓練されたロジスティック回帰の結果は、パーセプトロンに類似すると予想されるべきですか？

16 logistic  communication 

ロジスティック回帰では、OLS回帰のように多重共線性について心配する必要がありますか？ たとえば、多重共線性が存在するロジスティック回帰では、ベータ係数からの推論に注意する必要がありますか（OLS回帰の場合と同様）。 OLS回帰の場合、高い多重共線性の1つの「修正」はリッジ回帰です。ロジスティック回帰の場合、そのようなものはありますか？また、変数のドロップ、または変数の結合。 ロジスティック回帰における多重共線性の影響を低減するための合理的なアプローチは何ですか？それらは本質的にOLSと同じですか？ （注：これは、設計された実験の目的ではありません）

16 regression  logistic  multicollinearity 

私の質問は次のとおりです。ベータ分布とロジスティック回帰モデルの係数の数学的な関係は何ですか？ 例として、ロジスティック（シグモイド）関数は f(x)=11+exp(−x)f(x)=11+exp⁡(−x)f(x) = \frac{1}{1+\exp(-x)} また、ロジスティック回帰モデルで確率をモデル化するために使用されます。ましょAAA二分である(0,1)(0,1)(0,1)採点結果とXXXデザインマトリックス。ロジスティック回帰モデルは次で与えられます P(A=1|X)=f(Xβ).P(A=1|X)=f(Xβ).P(A=1|X) = f(X \beta). 注XXX一定の最初の列有する111（切片）及びββ\beta回帰係数の列ベクトルです。例えば、我々は1（標準正常）回帰を有する場合xxx選択しますβ0=1β0=1\beta_0=1（切片）およびβ1=1β1=1\beta_1=1、我々は、得られる「確率分布」をシミュレートすることができます。 このプロットは、ベータ分布を思い出させます（他の選択のプロットと同様ββ\beta）。その密度は g(y;p,q)=Γ(p)Γ(q)Γ(p+q)y(p−1)(1−y)(q−1).g(y;p,q)=Γ(p)Γ(q)Γ(p+q)y(p−1)(1−y)(q−1).g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}. 最尤法またはモーメント法を使用して、P （A = 1 | X ）の分布からpppおよびを推定することができます。したがって、私の質問は次のようになります：βとpとqの選択の関係は何ですか？これは、そもそも上記の2変量の場合を扱います。qqqP(A=1|X)P(A=1|X)P(A=1|X)ββ\betapppqqq

16 regression  logistic  mathematical-statistics  beta-distribution