タグ付けされた質問 「regression」

「未調整」は基本的に単純な線形回帰ですか？「調整済み」は重回帰ですか？たとえば、a、b、cなどの他の変数を調整する場合と調整しない場合のxのyに対する影響を調べます。

10 regression  multiple-regression 

以前は、データを平滑化するためにNadaraya-Watsonカーネル回帰を使用しました。最近、ガウスプロセス回帰に遭遇しました。 一応、彼らは関連していないようです。しかし、私が知らないもっと深いつながりがあるのではないかと思っています。Nadaraya-Watsonカーネル回帰はGPRの特別なケースですか？

10 regression  nonparametric  gaussian-process  kernel-smoothing 

たとえば、人の画像を若い、中年、または古いのいずれかに割り当てる分類子をトレーニングしたいとします。 簡単な方法は、クラスを独立したカテゴリとして扱い、分類子をトレーニングすることです。しかし、どうやらクラス間にいくつかの関係があります。どうすればこれを利用してより良くなることができますか？ 私は多分私にできることを考えてい 予測の損失増加と言う、損失を変更）1を若者として古いまたは古いとして若いです。 2）それを回帰問題に変換します。若い、中年、古いは0、1、2と表現されます。

10 regression  machine-learning  classification  discrete-data 

林の計量経済学では、古典的なOLSの仮定の1つは次のとおりであると述べられています：そして、すべてのに対しての影響があり、エラー項がリグレッサと無相関であることを知っています。E(ϵi|x1,x2,…,xn)=0, for i=1,…,n.(1)(1)E(ϵi|x1,x2,…,xn)=0, for i=1,…,n.\mathbb{E}(\epsilon_i\lvert\mathbf{x_1}, \mathbf{x_2}, \ldots, \mathbf{x_n}) = 0 \text{, for } i=1, \ldots, n. \tag{1}E(ϵi)=0E(ϵi)=0\mathbb{E}(\epsilon_i) = 0i=1,…,ni=1,…,ni = 1, \ldots,n しかし、式（1）自体は実際にはどういう意味ですか？教育的な例が役立つでしょう。

10 regression  econometrics  least-squares 

でSPSS使って発見統計アンディ・フィールドで第4版を、それが独立変数間の相互作用の項含めることをお勧めしとそれに対応する自然対数変換直線性の仮定の違反をチェックするための変数を。この背後にある統計理論は何ですか？xxxln(x)ln⁡(x)\ln(x) これは本からの引用： この仮定は、予測子とその対数変換の間の交互作用項が有意であるかどうかを調べることによってテストできます（Hosmer＆Lemeshow、1989）。 最近、この変換がBox-Tidwell変換と呼ばれていることもわかりました。

10 regression  logistic  assumptions 

現在、リッジ回帰を学習しており、より複雑なモデルのペナルティ化（またはより複雑なモデルの定義）について少し混乱しました。 私が理解していることから、モデルの複雑度は必ずしも多項式次数と相関しているわけではありません。つまり、2 + 3 + 4 x2+ 5 x３+ 6 x42+3+4x2+5x3+6x4 2 + 3+ 4x^2 + 5x^3 + 6x^4は、5 x 5よりも複雑なモデルです。5 ×55x5 5x^5 そして、正則化のポイントはモデルの複雑さを低く保つことであることを知っています。たとえば、5次多項式f（x ; w ）= w0+ w1x + w2バツ2+ w３バツ３+ w4バツ4+ w5バツ5f(x;w)=w0+w1x+w2x2+w3x3+w4x4+w5x5 f(x; w) = w_0 + w_1x + w_2x^2 + w_3x^3 + w_4x^4 + w_5x^5 0であるパラメーターが多いほど良いです。 しかし、私が理解していないのは、それが同じ次数の多項式である場合、より低いパラメーター値のペナルティが少なくなるのはなぜですか？だからなぜでしょう： …

9 regression  regularization  hyperparameter 

確率キャリブレーションに関するscikit学習ドキュメントでは、ロジスティック回帰を他の方法と比較し、ランダムフォレストはロジスティック回帰よりも適切にキャリブレーションされていないことを指摘しています。 ロジスティック回帰がうまく調整されているのはなぜですか？どのようにしてロジスティック回帰のキャリブレーションを台無しにすることができますか？

9 regression  logistic  calibration 

OLS回帰を連続応答に適用すると、各共変量の残差の回帰を順次実行することにより、重回帰方程式を構築できます。私の質問は、ロジスティック回帰の残差を介したロジスティック回帰でこれを行う方法はありますか？ 私は推定したい場合には、あるPr （Y= 1 | x 、z）Pr(Y=1|x,z)\Pr(Y = 1 | x, z)アプローチをモデル化線形一般化標準を使用して、反対ロジスティック回帰を実行するための方法がありバツxxおよび擬似残差が得るR1R1R_1、その後、後退R1R1R_1上zzzロジスティック回帰係数の不偏推定量を取得します。教科書や文献への参照をいただければ幸いです。

9 regression  logistic  residuals 

私はRKHS回帰と線形回帰の正則化の違いを研究していますが、両者の決定的な違いを理解するのに苦労しています。 入力-出力ペア所与の、Iは、関数推定するFを（⋅ ）次のように F （X ）≈ U （X ）= M Σ iは= 1 α I K （Xは、xは私は）、 ここで、K （⋅ 、⋅ ）はカーネル関数です。係数α mは解くことによってのいずれかで見つけることができる 分（x私、y私）(xi,yi)(x_i,y_i)f（⋅ ）f(⋅)f(\cdot)f（X ）≈ U （X ）= Σi = 1メートルα私K（x 、x私）、f(x)≈u(x)=∑i=1mαiK(x,xi),\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}K（⋅ 、⋅ ）K(⋅,⋅)K(\cdot,\cdot)αmαm\alpha_m ここで、表記の一部乱用、とI、J「カーネル行列の番目のエントリKであるK（XI、XのJ）。これは、得られる α*=（K+λNI）-1Yを。 または、問題を通常のリッジ回帰/線形回帰の問題として扱うこともできます。 minα∈Rn1n∥Y−Kα∥2Rn+λαTKα,minα∈Rn1n‖Y−Kα‖Rn2+λαTKα,\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}i,ji,ji,jKKKK(xi,xj)K(xi,xj){\displaystyle K(x_{i},x_{j})} α∗=(K+λnI)−1Y.α∗=(K+λnI)−1Y.\begin{equation} \alpha^*=(K+\lambda …

9 regression  generalized-linear-model  regularization  kernel-trick  rbf-kernel 

データポイントを、より複雑なモデルが必要か、より複雑なモデルが不要かで分類したいと思います。私の現在の考えは、すべてのデータを単純な線形モデルに当てはめ、残差のサイズを観察してこの分類を行うことです。次に、エラーへのバイアスと分散の寄与についていくつかの読み取りを行い、バイアスを直接計算できれば、合計エラー（残差または標準化残差）を処理するよりも適切な測定になる可能性があることに気付きました。 線形モデルでバイアスを直接推定することは可能ですか？テストデータの有無は？ここで相互検証は役立ちますか？ そうでない場合は、線形モデルの平均ブートストラップアンサンブル（バギングと呼ばれると思います）を使用してバイアスを概算できますか？

9 regression  multiple-regression  residuals  bias-variance-tradeoff 

'統計的学習の要素'は、線形モデルのバイアス分散分解のための式は以下のように与えられる F （X 0）Err(x0)=σ2ϵ+E[f(x0)−Ef^(x0)]2+||h(x0)||2σ2ϵ,Err(x0)=σϵ2+E[f(x0)−Ef^(x0)]2+||h(x0)||2σϵ2,Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,f(x0)f(x0)f(x_0)実際の目標関数であり、モデルにおけるランダム誤差の分散であり、Y = F （X ）+ ε及びF（xは）の線形推定量であるF （X ）。σ2ϵσϵ2 \sigma_\epsilon^2y=f(x)+ϵy=f(x)+ϵy=f(x)+\epsilonf^(x)f^(x)\hat f(x)f(x)f(x)f(x) 分散項は、式はターゲットがノイズレスであれば分散がゼロになることを意味するので、あること、ここで私を悩まれているしかし、たとえゼロノイズが、私はまだ違う得ることができますので、それは私には意味がありません。推定F（X 0）分散を意味異なるトレーニングセットについて、非ゼロです。σ2ϵ=0.σϵ2=0.\sigma_\epsilon^2=0.f^(x0)f^(x0)\hat f(x_0) たとえば、ターゲット関数が2次であり、トレーニングデータにこの2次からランダムにサンプリングされた2つのポイントが含まれているとします。明らかに、二次ターゲットからランダムに2つのポイントをサンプリングするたびに、異なる線形近似が得られます。では、どのように分散をゼロにすることができますか？f(x0)f(x0)f(x_0) 誰かがバイアス分散分解の私の理解の何が間違っているかを見つけるのを手伝ってくれる？

9 regression  linear-model  bias-variance-tradeoff 

以下のようにデータをシミュレーションした下のプロットを考えてみます。1になる真の確率が黒い線で示されているバイナリの結果を調べます。共変量xとp （y o b s = 1 | x ）の間の関数関係は、ロジスティックリンクを持つ3次多項式です（したがって、双方向で非線形です）。yobsyobsy_{obs}xxxp(yobs=1|x)p(yobs=1|x)p(y_{obs}=1 | x) 緑の線はGLMロジスティック回帰近似で、は3次多項式として導入されています。破線の緑の線は、予測の周りの95％信頼区間であるP （Y O B S = 1 | X 、β）ここで、βフィット回帰係数。私はこれを使用しました。xxxp(yobs=1|x,β^)p(yobs=1|x,β^)p(y_{obs}=1 | x, \hat{\beta})β^β^\hat{\beta}R glmpredict.glm 同様に、プルプルラインは、均一な事前分布を使用したベイジアンロジスティック回帰モデルのについて95％信頼できる区間をもつ事後の平均です。私はこのために機能付きのパッケージを使用しました（設定により、事前に情報のない均一な情報が提供されます）。p(yobs=1|x,β)p(yobs=1|x,β)p(y_{obs}=1 | x, \beta)MCMCpackMCMClogitB0=0 赤い点は、のデータセット内の観測を示し、黒い点はy o b s = 0 の観測です。分類/離散分析では一般的ですが、pではなくy （y o b s = 1 | x ）が観察されることに注意してください。yobs=1yobs=1y_{obs}=1yobs=0yobs=0y_{obs}=0yyyp(yobs=1|x)p(yobs=1|x)p(y_{obs}=1 | x) いくつかのことがわかります。 左側でがスパースであることを意図的にシミュレーションしました。情報（観察）が不足しているため、ここでは信頼と信頼できる間隔を広くしてほしい。xxx …

9 regression  logistic  bayesian  confidence-interval  credible-interval 

人口サイズの異なる都市がたくさんあり、都市の酒屋の数とDUIの数の間に正の線形関係があるかどうかを確認したいとします。推定回帰係数のt検定に基づいて、この関係が重要であるかどうかを判断しています。 今明らかにポップ。都市のサイズは、DUIの数と酒屋の数の両方と正の相関があります。したがって、酒屋だけで単純な線形回帰を実行し、その回帰係数が統計的に有意であるかどうかを確認すると、多重共線性の問題に遭遇し、酒屋のDUIへの影響を過大評価します。 これを修正するには、どちらの方法を使用すればよいですか？ 1人あたりの酒屋の値を取得して回帰するためには、市内の酒屋の数を人口で割る必要があります。 酒屋とサイズの両方に回帰し、サイズを制御するときに酒屋の係数が有意であるかどうかを確認する必要があります。 他の方法？ 私は正直にどちらがより賢明に見えるかを決めることができません。私は彼らの間で動揺します、私がそれが正しい方法であると自分に納得させることができると思うものに依存します。 一方で、DUIは個人によってコミットされるため、1人あたりの酒屋は適切な変数のように見えますが、統計的に厳密ではないようです。一方、サイズの制御は統計的に厳密であるように見えますが、間接的です。さらに、1人あたりの酒類の保存量を計算した後に再スケーリングすると、2つの方法の間で非常によく似た回帰係数が得られますが、方法1ではより小さなp値が生成されます。

9 regression  multicollinearity 

現在、2つの異なるリンテスト値を相互に変換する方法に取り組んでいます。 バックグラウンド 土壌中の植物の利用可能なリンを測定するための多くの（抽出）方法が存在します。国によって適用される方法が異なるため、国ごとの出生率を比較するには、P検定値yに基づいてP検定値xを計算する必要があり、逆も同様です。したがって、応答と共変量は交換可能です。 抽出剤1のP量= [mg / 100g土壌]のP_CAL 抽出剤2のP量= P_DL [mg /土壌100g] このような「変換方程式」を確立するために、136の土壌サンプルのP含有量をCALおよびDL抽出物で分析しました。土壌pH、全有機炭素、全窒素、粘土、炭酸塩などの追加パラメーターも測定されました。目的は、単純な回帰モデルを導出することです。2番目のステップでは、複数のモデルも使用します。 データの概要を説明するために、単純な線形（OLS）回帰直線を使用した2つの散布図を示します。 質問： 私の理解では、応答変更（y）変数と説明変数（x）の両方に（測定）エラーがあり、互換性がある場合は、デミング回帰が適しています。デミング回帰は、分散比が既知であることを前提としています。P抽出測定の精度に関する詳細はありませんが、分散比を決定する別の方法はありますか？ここでどの差異が意味されますか？計算されていないと思いますvar(DL_P)/var(CAL_P)か？ Q1：デミング回帰の分散比を決定するにはどうすればよいですか？ デミング回帰の特殊なケースは、直交回帰です。分散比= 1と仮定します。 Q2：仮定δ= 1が「ほぼ」正しいか、または（誤った）仮定が高い予測エラーを伴うかどうかを診断する方法はありますか？ δ= 1と仮定すると、直交回帰は次の（丸められた）出力を提供します library(MethComp) deming <- Deming(y=P_CAL, x=P_DL, vr=1) 切片：0.75; 勾配：0.71; シグマP_DL：3.17; シグマP_CAL：3.17 上記のプロットでデミング回帰線をプロットすると、デミング回帰はa）CAL-P = f（DL-P）回帰に非常に近いが、b）DL-P = f（CAL-P）とは非常に異なることがわかります方程式。 Q3：正解です。直交回帰では、CAL-P = f（DL-P）とDL-P = f（CAL-P）は同じ式で表されますか？そうでない場合、どのようにして両方の正しい方程式を導出できますか？ここで何が恋しいですか？ 両方の抽出ソリューションの特性により、DL-P値はCAL-P値よりも約25％高くなる傾向があるため、CAL-P = f（DL-P）はDL-P = f（CAL -P）。ただし、勾配が1つしかない場合、これはデミング回帰では表現されません。最後の質問です。 Q4：デミング回帰は私の目的にとって有効なアプローチですか？

9 regression  total-least-squares 

例：仕事の説明に「英国のJavaシニアエンジニア」という文があります。 私は2つのカテゴリとして、それを予測することは、深い学習モデルを使用したい：English とIT jobs。従来の分類モデルを使用する場合softmax、最後のレイヤーで機能を持つ1つのラベルのみを予測できます。したがって、2つのモデルのニューラルネットワークを使用して、両方のカテゴリで「はい」/「いいえ」を予測できますが、さらに多くのカテゴリがあると、コストがかかりすぎます。では、2つ以上のカテゴリを同時に予測するためのディープラーニングまたは機械学習モデルはありますか？ 「編集」：従来のアプローチによる3つのラベルでは、[1,0,0]によってエンコードされますが、私の場合、[1,1,0]または[1,1,1]によってエンコードされます 例：3つのラベルがあり、文がこれらすべてのラベルに収まる場合。したがって、softmax関数からの出力が[0.45、0.35、0.2]である場合、3つのラベルまたは2つのラベルに分類する必要がありますか、それとも1つにすることができますか？それを行うときの主な問題は、1、2、または3つのラベルに分類するための適切なしきい値は何ですか？

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty