タグ付けされた質問 「regression」

次の問題があります。それぞれが名目上のスケールを持ついくつかの変数に対して多重ロジスティック回帰を実行しています。私の回帰では多重共線性を避けたいです。変数が連続的である場合、分散インフレ係数（VIF）を計算して、VIFが高い変数を探すことができます。変数が通常スケーリングされている場合、いくつかの変数のペアについてスピアマンの順位相関係数を計算し、その計算値を特定のしきい値と比較できます。しかし、変数が名目上スケーリングされている場合はどうすればよいですか？1つのアイデアは、独立性のペアワイズカイ2乗検定を実行することですが、異なる変数がすべて同じco-domainを持つわけではありません。したがって、これは別の問題です。この問題を解決する可能性はありますか？

9 regression  logistic  multiple-regression  multicollinearity 

相関係数は次のとおりです。 r =Σk（バツk−バツ¯）（yk−yk¯）sバツsyn − 1r=∑k(xk−x¯)(yk−yk¯)sxsyn−1 r = \frac{\sum_k \frac{(x_k - \bar{x}) (y_k - \bar{y_k})}{s_x s_y}}{n-1} 標本平均と標本標準偏差は外れ値に敏感です。 同様に、 r =Σkものkn − 1r=∑kstuffkn−1 r = \frac{\sum_k \text{stuff}_k}{n -1} 一種の平均値のようなものであり、変動の影響を受けにくい変動があるかもしれません。 標本平均は次のとおりです。 バツ¯=Σkバツkんx¯=∑kxkn \bar{x} = \frac{\sum_k x_k}{n} 標本標準偏差は次のとおりです。 sバツ=Σk（バツk−バツ¯）2n − 1−−−−−−−−−−−√sx=∑k(xk−x¯)2n−1 s_x = \sqrt{\frac{\sum_k (x_k - \bar{x})^2}{n -1}} 欲しいと思う 中央値： 中央値[ x ]Median[x] \text{Median}[x] …

9 regression  correlation  outliers  median  mad 

私は自己学習機械学習でした。私はそれが主張するロジスティック回帰に関するウィキペディアのページのこのセクションに出くわしました モデルは一般化線形モデル（下記参照）として表現できるため、0 ロジスティック回帰のセットアップを線形回帰のセットアップに再キャストできるように思えます。しかし、それを行う方法がわかりません。わからない0&lt;p&lt;10&lt;p&lt;10<p<1も意味します。多分それはトリックですか？

9 regression  logistic 

多重線形回帰モデルに多項式の項を追加する必要がある場合とそうでない場合について、少し混乱しています。データの曲率をキャプチャするために多項式が使用されていることは知っていますが、常に次のような形になっているようです。 y= x1+ x2+ x21+ x22+ x1バツ2+ cy=x1+x2+x12+x22+x1x2+cy = x_1 + x_2 + x_1^2 + x_2^2 + x_1x_2 + c と間に線形関係があるが、と間に非線形関係があることがわかっている場合はどうでしょうか。次の形式でモデルを使用できますか？yyyバツ1x1x_1yyyバツ2x2x_2 y= x1+ x2+ x22+ cy=x1+x2+x22+cy = x_1 + x_2 + x_2^2 + c 私の質問は、項と項を削除することは有効ですか、それとも多項式回帰モデルの一般的な形式に従う必要があるのでしょうか。バツ21x12x_1^2x1x2x1x2x_1x_2

8 regression  multiple-regression  polynomial 

私はワイルドブートストラップの背後にある直感を理解しようとしています。それは実際に何をしていますか？従来の回帰と比較して、何をしようとしているのかを理解できる必要があります。 私のデータには不均一性があり、私が使用する方法では5000回の複製を行っています。 どのようにして5000の追加データを生成しますか？

8 regression  bootstrap  intuition 

そこで、ここでは一般化線形モデルを研究しています。私はこの質問が非常に単純で単純であることを知っていますが、なぜリンク正準関数がそれほど有用であるのか正確にはわかりません。誰かがこの問題について直感を教えてくれませんか？

8 regression  mathematical-statistics  generalized-linear-model  intuition  link-function 

楽器変数と2段階回帰の理論を知っているので、これはばかげた質問であることを知っています。それでも、以下に対する明確な答えを見たことがありません。 最初のリグレッサの1つと相関していない観測された変数による内生性があると仮定します。これを修正する一般的な方法は、観測されていない効果に相関する計測変数を見つけ、2段階の回帰アプローチを使用することです。 さて、私の質問は、なぜそのようなトラブルを経験するのかということです。なぜ、初期変数の見積もりに標準変数としてインストルメンタル変数を含めないのでしょうか。

8 regression  least-squares  instrumental-variables 

データを観察し、回帰モデルを近似したいとします。残念ながら、は平均値がゼロ以外の誤差で測定される場合があります。Y,XY,XY, XE[Y|X]E[Y|X]\mathbf{E}[Y \,|\, X]YYY ましょうかどうかを示す、それぞれ古典的なゼロ平均誤差又は非ゼロ平均誤差で測定されます。を推定し。残念ながら、は通常観測されず、です。我々はの回帰合う場合は上の、我々は偏った予測を取得します。Z∈{unbiased,biased}Z∈{unbiased,biased}Z \in \left\{\text{unbiased}, \text{biased}\right\}YYYE[Y|X,Z=unbiased]E[Y|X,Z=unbiased]\mathbf{E}[Y \,|\, X, Z = \text{unbiased}]ZZZE[Y|X,Z=unbiased]≠E[Y|X]E[Y|X,Z=unbiased]≠E[Y|X]\mathbf{E}[Y \,|\, X, Z = \text{unbiased}] \neq \mathbf{E}[Y \,|\, X]YYYXXX 一般的に観察することはできないが、モデルにアクセスできるとします（Zを小さなトレーニングセットで手動で学習し、Zをターゲット変数として分類モデルを近似したため）。 。\ Pr [Z = \ text {unbiased} \、| \、X、Y]を使用してXのYの回帰を当てはめますか？回帰の重みは\ mathbf {E} [Y \、| \、X、 Z = \ text {unbiased}]（または、それに失敗すると、重みを使用しない場合よりもバイアスの少ない推定になります）？この方法は実際に使用されていますか、それとも名前がありますか？ZZZPr[Z|X,Y]Pr[Z|X,Y]\Pr[Z \,|\, X,Y]ZZZZZZYYYXXXPr[Z=unbiased|X,Y]Pr[Z=unbiased|X,Y]\Pr[Z = \text{unbiased} \,|\, X,Y]E[Y|X,Z=unbiased]E[Y|X,Z=unbiased]\mathbf{E}[Y \,|\, X, …

8 regression  bias  measurement-error  weighted-regression 

モデルを近似するとします。とが相関している場合、相互作用効果の推定に実際的な影響はありますか？y=x1+x2+x1×x2y=バツ1+バツ2+バツ1×バツ2y = x_1 + x_2 + x_1\times x_2x1バツ1x_1x2バツ2x_2 とが非常に相関している場合、共線性の問題が発生する可能性があることを理解していますが、それは相互作用項に影響を与えるべきではありませんか？x1x1x_1x2x2x_2

8 regression  correlation  interaction 

バイナリロジスティック回帰モデルには2つの予測子があります。1つはバイナリ、もう1つは連続です。私の主な目標は、同じモデル内の2つの予測子の係数を比較することです。 連続回帰入力変数を標準化するというAndrew Gelmanの提案に出くわしました。 I）最初の提案（2008）：連続予測子を2 SDで除算 Original manuscript: http://www.stat.columbia.edu/~gelman/research/published/standardizing7.pdf II）更新された推奨事項（2009）：連続予測子を1 SDで除算し、バイナリ入力値を（0,1）から（-1、+ 1）に再コード化）。 Updated recommendation (1 SD, recode binary): http://andrewgelman.com/2009/06/09/standardization/ 結果として生じる係数の適切な解釈は、私にはまだとらえどころのないです： シナリオ1：両方の予測子が同じモデルで重要である 結果：非変換バイナリY連続予測子：XCONT（1sdで除算）バイナリ予測子：XBIN（値-1または1をとるように再コーディング） &gt; orfit1c=with(data=mat0, glm(YBIN~XCONT+XBIN, family=binomial(link="logit"))) &gt; summary(orfit1c) Call: glm(formula = YBIN ~XCONT + XBIN, family = binomial(link = "logit")) Deviance Residuals: Min 1Q Median 3Q Max -0.9842 -0.6001 -0.5481 -0.5481 …

8 regression  logistic  regression-coefficients  standardization  scales 

R2のWikipediaページには、が1より大きい値をとることができると書かれています。R2R2R^2 0から1の範囲外の値は、観測値とモデル化された値の間の一致を測定するために使用され、「モデル化」された値が線形回帰によって得られず、使用されるR 2の定式化に依存する場合に発生します。上記の最初の式を使用する場合、値はゼロ未満になる可能性があります。2番目の式を使用する場合、値は1より大きくなる可能性があります。R2R2R^2R2R2R^2 その引用は「2番目の式」を参照していますが、ページに2番目の式が表示されません。 が1より大きい可能性があるシナリオはありますか？非線形回帰についてこの質問について考えていますが、一般的な答えを知りたいのですが。R2R2R^2 [反対の質問を念頭に置いてこのページを見ている人：はい。は負にできます。これは、水平線よりもデータに適合するモデルを当てはめると発生します。これは通常、モデルまたは制約の選択の誤りが原因です。]R2R2R^2

8 regression  r-squared 

TLDR：薄板回帰スプラインには確率的/ベイズ的解釈がありますか？ 入力-出力ペア所与の(xi,yi)(xi,yi)(x_i,y_i)、i=1,...,ni=1,...,ni=1,...,n ; Iは、関数推定するf(⋅)f(⋅)f(\cdot)としては、下記の f(x)≈u(x)=ϕ(xi)Tβ+∑i=1nαik(x,xi),f(x)≈u(x)=ϕ(xi)Tβ+∑i=1nαik(x,xi),\begin{equation}f(x)\approx u(x)=\phi(x_i)^T\beta +\sum_{i=1}^n \alpha_i k(x,x_i),\end{equation}k(⋅,⋅)k(⋅,⋅)k(\cdot,\cdot)ϕ(xi)ϕ(xi)\phi(x_i)m&lt;nm&lt;nm<nαiαi\alpha_iβiβi\beta_iminα∈Rn,β∈Rm1n∥Y−Φβ−Kα∥2Rn+λαTKα,minα∈Rn,β∈Rm1n‖Y−Φβ−Kα‖Rn2+λαTKα,\begin{equation} {\displaystyle \min _{\alpha\in R^{n},\beta \in R^{m}}{\frac {1}{n}}\|Y-\Phi\beta -K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}ΦΦ\Phiϕ(xi)Tϕ(xi)T\phi(x_i)^Ti,ji,ji,jKKKk(xi,xj)k(xi,xj){\displaystyle k(x_{i},x_{j})} α∗=λ−1(I+λ−1K)−1(Y−Φβ∗)α∗=λ−1(I+λ−1K)−1(Y−Φβ∗)\begin{equation} \alpha^*=\lambda^{-1}(I+\lambda^{-1}K)^{-1}(Y-\Phi\beta^*) \end{equation} \ begin {式} \ beta ^ * = \ {\ Phi ^ T（I + \ lambda ^ {-1} K）^ {-1} \ Phi \} ^ {-1} \ Phi ^ …

8 regression  bayesian  gaussian-process  smoothing  semiparametric 

私は、次の多変量線形回帰推定言う どのようにテストすることができ、そのβ 1 = β 2 = β 3？y= β0+ β1バツ1+ β2バツ2+ β３バツ３+ β4バツ4+ ϵy=β0+β1x1+β2x2+β3x3+β4x4+ϵ y = \beta_0 +\beta_1 x_1 +\beta_2 x_2+\beta_3x_3+\beta_4x_4 + \epsilonβ1= β2= β３β1=β2=β3\beta_1=\beta_2=\beta_3 かどうかをテストするには、てテストを 作成するだけでことを知っていますβ1= β2β1=β2\beta_1=\beta_2ZZZZ= β1- β2s e2β1+ s e2β2−−−−−−−−−√Z=β1−β2seβ12+seβ22 Z = \frac{\beta_1-\beta_2}{\sqrt{se_{\beta_1}^2+se_{\beta_2}^2}} 複数の係数推定値の類似物はありますか？

8 regression  hypothesis-testing  multiple-regression 

この質問は、どこかでここで回答されたと確信できるほど根本的なようですが、私はそれを見つけていません。 回帰の従属変数が正規分布している場合、最大尤度と通常の最小二乗が同じパラメーター推定を生成することを理解しています。 従属変数が正規分布していない場合、OLSパラメーター推定はMLEと同等ではなくなりますが、それらは依然として最良（最小分散）線形不偏推定（青）です。 それでは、OLSが提供するもの（BLUEであること）を超えてMLEを望ましいものにする特性は何ですか？ 言い換えると、OLS推定が最尤推定であると言えない場合、何を失うのですか？ この質問をやる気にさせるために、明らかに非正規の従属変数が存在する場合に、なぜOLS以外の回帰モデルを選択するのか疑問に思っています。

8 regression  maximum-likelihood  least-squares  blue 

私が読んだすべての（回帰）ランダムフォレストペーパーで、すべての木の予測を収集するときが来たら、平均値を予測として使用します。 私の質問は、なぜそれを行うのですか？ 平均を取るための統計的正当性はありますか？ 編集：質問を明確にするために、私は他の集約関数を使用することが可能であることを知っています（分類にはモードを使用します）。

8 regression  random-forest  ensemble