タグ付けされた質問 「regression」

私はベイジアン線形回帰の使用を研究してきましたが、私は混乱している例を見つけました。 モデルを考える： y=βX+ϵy=βX+ϵ{\bf y} = {\bf \beta}{\bf X} + \bf{\epsilon} 仮定すると、ϵ∼N(0,ϕI)ϵ∼N(0,ϕI){\bf \epsilon} \sim N(0, \phi I)およびp(β,ϕ)∝1ϕp(β,ϕ)∝1ϕp(\beta, \phi) \propto \frac{1}{\phi}、 どのようにp(β|ϕ,y)p(β|ϕ,y)p(\beta|\phi, {\bf y})到達しますか？ ここで、p(β|ϕ,y)∼N(XTX)−1XTy,ϕ(XTX)−1)p(β|ϕ,y)∼N(XTX)−1XTy,ϕ(XTX)−1)p(\beta|\phi, {\bf y}) \sim N({\bf X}^{\text{T}}{\bf X})^{-1}{\bf X}^{\text{T}}{\bf y}, \phi ({\bf X}^{\text{T}}{\bf X})^{-1})。

9 regression  bayesian  multiple-regression 

Rコードが次のような線形混合モデルを作成しようとしています。 lme（Average.payoff〜Game + Type + Others.Type + Game：Type + Game：Others.Type + Type：Others.Type、random =〜1 | Subjects、method = "REML"、data = Subjectsm1）-> lme1 応答項Average.payoffは連続ですが、すべての説明変数はすべてバイナリです。 検証に来ると、フィット値が大きくなると残差の広がりが減少することがはっきりとわかります。近似値が大きくなると残差が増加する形で不均一性に関する情報がたくさんあるようですが、私は自分のケースに似たケースについては何も読んでいません。 各説明効果に対して残差をプロットしましたが、変数GameおよびTypeの近似値が大きいほどスプレッドが減少しますが、変数Others.Typeの場合は増加することがわかります。 これの原因は何ですか？それについて私は何をすべきですか？ 2次項の追加または加法モデリングの使用を検討すべきですか？適用すべき変換はありますか？ おかげで、 ジョナサン

9 regression  mixed-model  variance  heteroscedasticity  lme4-nlme 

通常の最小二乗法では、一連の予測子に対してターゲットベクトル回帰し、ハット行列は次のように計算されます。XyyyバツXX H= X（Xtバツ）− 1バツtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t PRESS（予測残差平方和）は、 SSP= ∑私（e私1 − 時間I I）2SSP=∑i(ei1−hii)2SS_P = \sum_i \left( \frac{e_i}{1-h_{ii}}\right)^2 ここで、は番目の残差、はハット行列の対角要素です。 I H I Ie私eie_iiiihiihiih_{ii} ペナルティ係数したリッジ回帰では、ハット行列は次のように変更されます。λλ\lambda H=X(XtX+λI)−1XtH=X(XtX+λI)−1XtH = X (X^t X + \lambda I)^{-1} X^t PRESS統計は、修正されたハットマトリックスを使用して同じ方法で計算できますか？

9 regression  cross-validation  ridge-regression 

従属変数がバイナリであり、値または取ることができるロジスティック回帰モデルを構築しているとしましょう。独立変数をすると、独立変数があります。レッツと言う独立変数番目、二変量解析ショーU字トレンド-すなわち、もしI群にビンの観測の各含有ほぼ等しい数および各ビンのための「不良率」を計算する- ＃観測Y = 0 /各ビンの総観測値-次に、U字型の曲線を取得します。000X 1は、xは2、。。。、x m m k x k 20111バツ1、x2、。。。、xメートルバツ1、バツ2、。。。、バツメートルx_1, x_2, ..., x_mメートルメートルmkkkバツkバツkx_k202020 私の質問は： ベータパラメーターを推定するときに、を入力として直接使用できますか？パラメータの推定で重大なエラーを引き起こす可能性がある統計的仮定に違反していますか？バツkバツkx_k この変数を変換（対数、平方、それ自身との積など）を通じて「線形化」する必要がありますか？

9 regression  estimation  logistic  sas 

「マウス：Rの連鎖方程式による多変量代入（JSS 2011 45（3））」で説明されているように、誰かがマウス機能を使用した経験があるかどうか疑問に思いました。それぞれが欠落しているデータの程度が異なる多数の変数を含むデータセットがあります。 私の主な質問は、ベイジアン線形回帰を使用して欠損データを補完miceすることですが、最も重要なものから最も重要でないものまでの予測変数を自動的に使用しますか？また、帰属されたすべてのデータセットをおそらく平均化することは一般的ですか？

9 r  regression  bayesian  data-imputation  mice 

2つの共変量とカテゴリカルグループ化変数を含むデータセットがあり、異なるグループ化変数に関連付けられている共変量間で勾配または切片に有意差があるかどうかを知りたいと考えています。anova（）とlm（）を使用して、3つの異なるモデルの適合を比較しました：1）単一の勾配と切片、2）各グループの異なる切片、および3）勾配と各グループの切片。anova（）の一般的な線形テストによると、2番目のモデルは3つのうち最も適切です。各グループに個別の切片を含めることにより、モデルに大幅な改善があります。ただし、これらのインターセプトの95％信頼区間を見ると、これらはすべて重複しており、インターセプト間に有意差がないことを示唆しています。これら2つの結果をどのように調整できますか？モデル選択法の結果を解釈する別の方法は、切片間に少なくとも1つの有意差がなければならないということであると考えましたが、おそらくこれは正しくありませんか？ 以下は、この分析を再現するためのRコードです。dput（）関数を使用しているので、取り組んでいるのとまったく同じデータを操作できます。 # Begin R Script # > dput(data) structure(list(Head = c(1.92, 1.93, 1.79, 1.94, 1.91, 1.88, 1.91, 1.9, 1.97, 1.97, 1.95, 1.93, 1.95, 2, 1.87, 1.88, 1.97, 1.88, 1.89, 1.86, 1.86, 1.97, 2.02, 2.04, 1.9, 1.83, 1.95, 1.87, 1.93, 1.94, 1.91, 1.96, 1.89, 1.87, 1.95, 1.86, 2.03, 1.88, 1.98, …

9 r  regression  anova  confidence-interval 

私の以前の質問に続いて、リッジ回帰の正規方程式の解は次のように与えられます： β^λ=(XTX+λI)−1XTyβ^λ=(XTX+λI)−1XTy\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty 正則化パラメーターを選択するためのガイダンスを教えてください。また、対角のため、観測数で育つ、必要がありますまたの関数である？λλ\lambdaXTXXTXX^TXmmmλλ\lambdammm

9 regression  regularization  ridge-regression 

ときどき、文献などで、性別などのカテゴリ変数が（固定効果または混合効果）回帰分析で「部分的」または「後退」していることがわかります。私はそのような声明に含まれる次の実際的な問題に悩んでいます： （1）通常、コーディング方法は論文に記載されていません。そのような変数は定量的な値でコード化する必要があり、私は賢明な方法は効果的なコード化（たとえば、男性= 1、女性= -1）である必要があると感じています。グループ。コーディングが異なると、異なる（そして望ましくない）解釈になる可能性があります。たとえば、ダミーコーディング（たとえば、男性= 0、女性= 1）は、総平均ではなく、男性に関連する他の影響を残します。2つのグループ間で被験者の数が等しくない場合、このダミーコード化された変数を中央に配置しても、パーシャル化の目的にはうまく機能しない可能性があります。私は正しいですか？ （2）そのようなカテゴリー変数の効果がモデルに含まれている場合、その効果を調べることは最初に必要であると思われ、他の効果の解釈に影響を与えるため、コンテキストで検討する必要があります。私を困らせているのは、モデル作成プロセスは言うまでもなく、作者が性的影響の重要性についてさえ言及しないことです。セックス効果が存在する場合、自然なフォローアップの質問は、モデルのセックスと他の変数の間に相互作用が存在するかどうかです。性への影響も相互作用も存在しない場合は、性をモデルから削除する必要があります。 （3）それらの作者にとって性に関心がないと考えられる場合、そもそもその効果を確認せずにモデルにそれを含めることの意味は何ですか？そのようなカテゴリー変数を含めること（およびセックスの固定効果に1自由度がかかること）は、セックス効果が存在する場合（私の限られた経験では本質的にはないと述べています）に、部分的な目的のために何かを得ますか？

9 regression 

平均のポイント（x、y）が推定回帰直線上にあることをどのように示しますか？

9 distributions  regression  proof  self-study 

データポイントが球の表面から（ある程度の摂動を伴って）サンプリングされたと仮定すると、その球の中心をどのように回復できますか？ 検索の結果、「球形回帰」というラベルの付いた論文が見つかりましたが、同じことをしているようには見えませんでした。多分私はそれを理解していませんでした。 線形回帰に似た、球の表面からの一連のデータポイントの合計二乗距離を最小にする球の中心点と半径を求める簡単な式はありますか？ 編集1： ノイズは、球の半径よりも2桁または3桁小さく、ガウス分布は均一であると想定できます。ただし、サンプル自体は球の表面から確実に均一に描画されるわけではありませんが、表面上のいくつかのパッチにクラスター化されている可能性が高く、すべてが1つの半球内にある可能性があります。でデータを処理するソリューションR３R３\mathbb R^3 結構ですが、任意の次元の一般的な解決策も素晴らしいです。 編集2： 線形回帰を使用した場合、私が賢明な答えを得る可能性は何ですか、 y= Xβ+ ϵy=バツβ+εy = X\beta + \epsilon、二乗された成分が他のパラメーターから独立しているふりをする7次元空間で： バツβy=[ − 2 x- 2 Y− 2 z111− 1 ]=[バツ0y0z0バツ20y20z20r2]』=バツ2+y2+z2バツ=[−2バツ−2y−2z111−1]β=[バツ0y0z0バツ02y02z02r2]』y=バツ2+y2+z2\begin{align} X &= \begin{array}{ccccccc}[-2x& -2y&-2z&1&1&1&-1]\end{array}\\ \beta &= \begin{array}{ccccccc}[x_0 & y_0 & z_0 & x_0^2 & y_0^2 & z_0^2 & r^2]'\end{array}\\ y &= x^2+y^2+z^2\end{align} せいぜい、私のエラーメトリックは少し変わっていると思います。最悪の場合、ソリューションは一貫性に近づくことさえありません。 ...または4つの同じ列があると、回帰を行おうとすると特異行列が得られるため、これはばかげています。 …

9 regression  nonlinear-regression 

最新のGPML MatlabコードGPML Matlabコードをダウンロードし、ドキュメントを読み、問題なく回帰デモを実行しました。しかし、私が直面している回帰問題にそれを適用する方法を理解するのに苦労しています。 回帰問題は次のように定義されます。 ましょうである入力ベクトルとであり、それに対応するターゲット。個の入力のセットは行列配置され、対応するターゲットは行列格納されます、はの平均目標値です。バツ私∈R20xi∈R20\mathbf{x}_i \in \mathbb{R}^{20}y私∈R25yi∈R25\mathbf{y}_i \in \mathbb{R}^{25}MMMX =[バツ1、… 、バツM]⊤X=[x1,…,xM]⊤\mathbf{X} = [\mathbf{x}_1, \dots, \mathbf{x}_M]^\topY =[y1−y¯、… 、yM−y¯]⊤Y=[y1−y¯,…,yM−y¯]⊤\mathbf{Y} = [\mathbf{y}_1 - \mathbf{\bar{y}}, \dots, \mathbf{y}_M-\mathbf{\bar{y}}]^\topy¯y¯\mathbf{\bar{y}}YY\mathbf{Y} 二乗指数関数を使用して、GPRモデルをトレーニングしたいと思います。G= { X、Y、θ }G={X,Y,θ}\mathcal{G} = \lbrace \mathbf{X}, \mathbf{Y}, \theta \rbrace k （バツ私、バツj）=α2exp （ −12β2（バツ私−バツj）2） +γ2δ私はjk(xi,xj)=α2exp(−12β2(xi−xj)2)+γ2δijk(\mathbf{x}_i, \mathbf{x}_j) = \alpha^2 \text{exp} \left( - \frac{1}{2\beta^2}(\mathbf{x}_i - \mathbf{x}_j)^2\right) + \gamma^2\delta_{ij}、 ここでに等しい場合と、さもなければ。ハイパーパラメーターは、はトレーニングデータの想定ノイズレベルで、は長さスケールです。δ私はjδij\delta_{ij}111i=ji=ji …

9 regression  machine-learning  matlab  gaussian-process 

3つの数値変数を使用してバイナリロジスティック回帰を実行しています。すべての入力変数がゼロの場合、確率はゼロになるはずなので、モデルの切片を抑制しています。 使用する必要がある観測の最小数はいくつですか？

9 regression  logistic 

私はドロップアウトに関する元の論文（https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf）を読んでおり、線形回帰のセクションでは、次のように述べられています。 ER∼Bernoulli(p)[∥y −(R∗X)w∥2]ER∼Bernoulli(p)[‖y −(R∗X)w‖2]\mathbb{E}_{R\sim Bernoulli(p)}\left[\| y\ - (R*X)w\|^2\right] 次のように減少します： ∥y−pXw∥2+p(1−p)∥Γw∥2‖y−pXw‖2+p(1−p)‖Γw‖2\|y - pXw\|^2 + p(1-p) \|\Gamma w\|^2 彼らがこの結果にたどり着いた方法を理解できません。誰か助けてもらえますか？

9 regression  dropout 

統計学者が回帰モデルの観測値よりも多くの予測子を持つことについて話すとき、それはどういう意味ですか？どうすればそれが可能でしょうか？なぜそれは回帰の問題ですか？謝罪、私は定量分析と統計が初めてなので、これが事実である理由がよくわかりませんか？できるだけ簡単な説明をいただければ幸いです-

9 regression 

私はRでGAMの使用を開始し、このトピックに関する優れた本（「一般化された加法モデル、Rの概要」）を入手しました。彼の例の1つに基づいて、私は以下を調べています。 library(mgcv) data(trees) ct1<-gam(log(Volume) ~ Height + s(Girth), data=trees) この例には2つの一般的な質問があります。 モデル推定の変数がいつパラメトリック（高さなど）である必要があるのか​​、またはそれがスムーズである必要があるのか​​（ガースなど）をどのように決定しますか？一方が他方よりも有利であり、変数の最適な型が何かを決定する方法はありますか？このトピックについて誰かが文学を持っているなら、私はそれを知って幸せです。 私はの重みを詳しく見てみたいと言いますct1：ct1$coefficients。それらを- gamプロシージャの出力として使用できますか、それとも、適切であるという前提で、分析する前に変換する必要がありlog(Volume)ますか？後者の場合、私は使用する必要があると思いますexp (ct1$coefficients)

9 r  regression  machine-learning  gam  mgcv