タグ付けされた質問 「regression」

1つ(または複数)の「従属」変数と「独立」変数の間の関係を分析する手法。

1
多変量線形回帰といくつかの単変量回帰モデル
一変量回帰設定では、モデル化を試みます y=Xβ+noisey=Xβ+noisey = X\beta +noise ここで、は観測値のベクトルであり、は予測子をもつ計画行列です。解はです。y∈Rny∈Rny \in \mathbb{R}^nnnnX∈Rn×mX∈Rn×mX \in \mathbb{R}^{n \times m}mmmβ0=(XTX)−1Xyβ0=(XTX)−1Xy\beta_0 = (X^TX)^{-1}Xy 多変量回帰設定では、モデル化を試みます Y=Xβ+noiseY=Xβ+noiseY = X\beta +noise ここで、は、観測値と異なる潜在変数の行列です。解はです。y∈Rn×py∈Rn×py \in \mathbb{R}^{n \times p}nnnpppβ0=(XTX)−1XYβ0=(XTX)−1XY\beta_0 = (X^TX)^{-1}XY 私の質問は、異なる一変量線形回帰を実行することとどのように異なるのですか?後者の場合、従属変数間の相関を考慮することをここで読みましたが、数学からはわかりません。ppp

4
エラーが正規分布していない場合、最小二乗法と最尤法の回帰法が等しくないのはなぜですか?
タイトルはそれをすべて言います。モデルのエラーが正規分布している場合、最小二乗と最大尤度は回帰係数に対して同じ結果になることを理解しています。しかし、エラーが正常に分布していない場合はどうなりますか?なぜ2つの方法が同等ではなくなったのですか?

2
なぜこれらの回帰anovaテーブルは同一なのですか?
同じYと3レベルのXの2つの回帰があります。全体としてn = 15、各グループまたはXのレベルでn = 5です。最初の回帰では、Xをカテゴリーとして扱い、インジケーター変数をレベル2およびレベル3に割り当てます1つは参照です。インジケーター/ダミーは次のようになります。レベル= 2の場合はX1 = 1、それ以外の場合は0、レベル= 3の場合はX2 = 1、それ以外の場合は0 結果として、私の適合モデルは次のようになります:y = b0 + b1(x1)+ b2(x2) 回帰を実行すると、出力に次の分散分析表が含まれます。 残りの出力はここでは関係ありません。 では、同じデータに対して別の回帰を実行します。カテゴリ分析を行わず、Xを連続として扱いますが、方程式に変数を追加します。Xの2乗、X ^ 2です。これで、次のモデルができました。y= b0 + b1(X)+ b2(X) ^ 2 実行すると、上記で示したのとまったく同じ分散分析表が出力されます。なぜこれら2つの回帰が同じ表を生じるのですか? [この小さな難問のクレジットは、カリフォルニア大学ロサンゼルス校の生物統計学部のトーマスベリンに寄付されます。]
11 regression  anova 

4
人工ニューラルネットワークは、多項式機能を使用した線形回帰と同等ですか?
他の機械学習アルゴリズムと比較して、ニューラルネットワークとその利点の理解を深めたいです。私の理解は以下の通りであり、私の質問は: 私の理解を訂正して補足していただけますか?:) 私の理解: (1)人工ニューラルネットワーク=入力値から出力値を予測する関数。Universal Approximation Theorem(https://en.wikipedia.org/wiki/Universal_approximation_theorem)によれば、十分なニューロンがあれば、通常は(予測どおりに動作するはずですが)可能な予測関数を使用できます。 (2)入力値の多項式を追加の入力値として取る線形回帰の場合も同じです。これは、各関数を多項式で近似(テイラー展開と比較)できるためです。 (3)これは、(ある意味では、可能な限り最良の結果に関して)、これらの2つの方法は同等であることを意味します。 (4)したがって、それらの主な違いは、どの方法がより良い計算実装に適しているかにあります。言い換えると、トレーニングの例に基づいて、最終的に予測関数を定義するパラメーターのより高速な適切な値を、どの方法で見つけることができますか。 私は私の考えを改善するために他のリンクや本へのどんな考え、コメントそして推薦も歓迎します。

2
直交して行うことができない場合は、生で行います(多項式回帰)
からへの多項式回帰を実行する場合、人々は生の多項式を使用することもあれば、直交多項式を使用することもあります。しかし、彼らが完全に恣意的に見えるものを使用するとき。XYYYXXX こことここでは生の多項式が使用されます。しかし、こことここで、直交多項式は正しい結果を与えるようです。何、どのように、なぜ?! それとは対照的に、教科書(ISLRなど)から多項式回帰について学習する場合、生または直交多項式については言及されておらず、近似されるモデルのみが与えられます。 では、何を使用する必要があるのでしょうか。 そして、なぜX、X ^ 2などの個々の p値がこれら2つの値の間で大きく異なるのですか?XXXX2X2X^2

2
収縮が巧妙な方法で適用される場合、それは常により効率的な推定量に対してよりよく機能しますか?
私は2つの推定量があるとと同じパラメータの一致推定量であるとなるように psdの意味 でのしたがって、漸近的にはよりも効率的です。これらの2つの推定量は、異なる損失関数に基づいています。 β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0V1≤V2 β 1 β 2ん−−√(βˆ1- β0)→dN(0 、V1)、ん−−√(βˆ2- β0)→dN(0 、V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)V1≤ V2V1≤V2V_1 \leq V_2βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2 ここで、私の推定量の有限標本特性を改善するために、いくつかの縮小手法を探したいと思います。 私は推定向上収縮技術見出さ仮定する有限のサンプル中にに等しい私MSEの値を与えるγ 2。これは私がして適用するための適切な収縮技術見つけることができることを意味するものではないβ 1 MSEに私に与えないだろう以下でγ 2を? βˆ2β^2\widehat{\beta}_2γˆ2γ^2\widehat{\gamma}_2βˆ1β^1\widehat{\beta}_1 γˆ2γ^2\widehat{\gamma}_2 言い換えると、縮小が巧妙に適用されている場合、より効率的な推定量に対しては常により効果的に機能しますか?

1
SVMと比較してサポートベクター回帰はどのように異なりますか?
私はSVMとSVRの基本を知っていますが、マージンを最大にする超平面を見つける問題がSVRにどのように当てはまるのかわかりません。 次に、SVRの許容範囲として使用されるについて読みました。どういう意味ですか?ϵϵ\epsilon 3番目に、SVMとSVRで使用される決定関数パラメーターに違いはありますか?

2
決定木と回帰-予測値がトレーニングデータの範囲外になることはありますか?
意思決定ツリーに関しては、予測値はトレーニングデータの範囲外にありますか? たとえば、ターゲット変数のトレーニングデータセットの範囲が0〜100の場合、モデルを生成して別のモデルに適用すると、値を-5にできますか?または150? 意思決定ツリーの回帰についての私の理解は、それが依然としてルールベース-左/右の進行であり、トレーニングセットのツリーの下部では特定の範囲外の値を見ることができないため、それを予測しますか?

3
マルチターゲットテクニックについて学ぶためのリソース
複数のターゲットを持つデータを処理できる手法(例:3つの従属変数:2つの離散と1つの連続)に関するリソース(本、講義ノートなど)を探しています。 誰かこれに関するリソース/知識はありますか?これにニューラルネットワークを使用することは可能です。

2
ガウス過程での観測のマージ
回帰にはガウス過程(GP)を使用しています。 私の問題では、2つ以上のデータポイントが長さに対して相対的に近いことがよくあります問題のスケール。また、観測は非常に騒々しいことができます。計算を高速化し、測定精度を向上させるために、より大きな長さスケールでの予測に関心がある限り、互いに近い点のクラスターをマージ/統合するのは自然なことのようです。x⃗ (1),x⃗ (2),…x→(1),x→(2),…\vec{x}^{(1)},\vec{x}^{(2)},\ldots これを行うには高速だが半原則的な方法は何ですか? 2つのデータポイントは完全に重複した場合、および観測ノイズ(すなわち、尤度)は、おそらくheteroskedasticしかしガウスであり、公知の、処理の自然な方法は、それらを単一のデータポイントにマージするようです:x⃗ (1)=x⃗ (2)x→(1)=x→(2)\vec{x}^{(1)} = \vec{x}^{(2)} x¯⃗ ≡x⃗ (k)x¯→≡x→(k)\vec{\bar{x}} \equiv \vec{x}^{(k)}、のために。k=1,2k=1,2k=1,2 観測値は、相対精度で重み付けされた観測値平均です:。y¯y¯\bar{y}y(1),y(2)y(1),y(2)y^{(1)}, y^{(2)}y¯=σ2y(x⃗ (2))σ2y(x⃗ (1))+σ2y(x⃗ (2))y(1)+σ2y(x⃗ (1))σ2y(x⃗ (1))+σ2y(x⃗ (2))y(2)y¯=σy2(x→(2))σy2(x→(1))+σy2(x→(2))y(1)+σy2(x→(1))σy2(x→(1))+σy2(x→(2))y(2)\bar{y} = \frac{\sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(1)} + \frac{\sigma_y^2(\vec{x}^{(1)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(2)} 等しい観測に関連するノイズ。σ2y(x¯)=σ2y(x⃗ (1))σ2y(x⃗ (2))σ2y(x⃗ (1))+σ2y(x⃗ (2))σy2(x¯)=σy2(x→(1))σy2(x→(2))σy2(x→(1))+σy2(x→(2))\sigma_y^2(\bar{x}) = \frac{\sigma_y^2(\vec{x}^{(1)}) \sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} ただし、近接しているが重複していない 2つのポイントをどのようにマージする必要がありますか? は、やはり相対的信頼性を使用して、2つの位置の加重平均である必要があると思います。理論的根拠は、重心の議論です(つまり、非常に正確な観測を、あまり正確でない観測のスタックとして考えます)。x¯⃗ x¯→\vec{\bar{x}} 用上記と同じ式。y¯y¯\bar{y} 観測に関連するノイズについては、上記の式に加えて、データポイントを移動しているため、ノイズに補正項を追加する必要があるのでしょうか。基本的に、と(それぞれ、信号分散と共分散関数の長さスケール)に関連する不確実性が増加します。この用語の形式はわかりませんが、共分散関数が与えられた場合の計算方法について、いくつかの仮のアイデアがあります。σ2fσf2\sigma_f^2ℓ2ℓ2\ell^2 先に進む前に、すでに何かがそこにあるのかどうか疑問に思いました。これが賢明な手順であると思われる場合、またはより迅速な方法がある場合。 …

2
RのglmnetとPythonのscikit-learnを使用したリッジ回帰の違いは何ですか?
James、Witten、Hastie、Tibshirani(2013)著の「An Introduction to Statistical Learning with Applications in R」の Ridge Regression / LassoのLABセクション§6.6を通過します。 より具体的にはRidge、Rパッケージ 'ISLR'の 'Hitters'データセットにscikit-learn モデルを適用しようとしています。Rコードに示されているのと同じ機能セットを作成しました。ただし、glmnet()モデルの結果に近づくことはできません。比較するL2チューニングパラメーターを1つ選択しました。(scikit-learnの「alpha」引数)。 Python: regr = Ridge(alpha=11498) regr.fit(X, y) http://nbviewer.ipython.org/github/JWarmenhoven/ISL-python/blob/master/Notebooks/Chapter%206.ipynb R: の引数alpha=0はglmnet()、L2ペナルティを適用する必要があることを意味することに注意してください(リッジ回帰)。ドキュメンテーションでは、に単一の値を入力しないように警告していますlambdaが、結果は、ISLの場合と同じで、ベクトルが使用されています。 ridge.mod <- glmnet(x,y,alpha=0,lambda=11498) 何が違いの原因ですか? 編集: Rのペナルティパッケージから 使用する場合penalized()、係数はscikit-learnと同じです。 ridge.mod2 <- penalized(y,x,lambda2=11498) おそらく問題は、「リッジ回帰を実行するときglmnet()と実行するpenalized()ときの違いは何ですか?」 Rパッケージglmnetで使用される実際のFortranコード用の新しいPythonラッパー https://github.com/civisanalytics/python-glmnet

2
ロジスティック回帰とロジット線形回帰によって推定される係数はいつ異なりますか?
連続比率をモデル化する場合(例:調査区画での比例植生被覆、または活動に従事する時間の比率)、ロジスティック回帰は不適切であると見なされます(例:Warton&Hui(2011)Arcsine is asinine:the analysis of ratios in ecology)。むしろ、比率をロジット変換した後のOLS回帰、またはおそらくベータ回帰がより適切です。 R lmとを使用すると、ロジット線形回帰とロジスティック回帰の係数推定値はどのような条件下で異なりますglmか? 次のシミュレートされたデータセットを取り上げます。ここでpは、それが生データ(つまり、表すのではなく、連続比率)であると想定できます。んS U C C E S S E Sんt r i a l snsuccessesntrials{n_{successes}\over n_{trials}} set.seed(1) x <- rnorm(1000) a <- runif(1) b <- runif(1) logit.p <- a + b*x + rnorm(1000, 0, 0.2) p <- plogis(logit.p) plot(p ~ x, …
11 r  regression  logistic 

1
R-Lasso Regression-リグレッサごとに異なるラムダ
次のことを実行したい: 1)ベータ係数を取得するためのOLS回帰(ペナルティ項なし) ; は、回帰に使用される変数を表します。私はこれをしますb∗jbj∗b_{j}^{*}jjj lm.model = lm(y~ 0 + x) betas = coefficients(lm.model) 2)ペナルティ項を伴うLasso回帰。選択基準は、以下によって与えられるベイジアン情報基準(BIC)とする λj=log(T)T|b∗j|λj=log⁡(T)T|bj∗|\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|} ここで、は変数/リグレッサ番号、は観測数、はステップ1)で取得した初期ベータを表します。この特定の値の回帰結果を取得したいのですが、これは使用する各リグレッサによって異なります。したがって、3つの変数がある場合、3つの異なる値ます。jjjB * jを λ jをλ jをTTTb∗jbj∗b_{j}^{*}λjλj\lambda_jλjλj\lambda_j 次に、OLS-Lasso最適化問題は minbϵRn={∑t=1T(yt−b⊤Xt)2+T∑j=1m(λt|bj|)}minbϵRn={∑t=1T(yt−b⊤Xt)2+T∑j=1m(λt|bj|)}\underset{b\epsilon \mathbb{R}^{n} }{min} = \left \{ \sum_{t=1}^{T}(y_{t}-b^{\top} X_{t} )^{2} + T\sum_{j=1}^{m} ( \lambda_{t}|b_{j}| )\right \} Rでlarsまたはglmnetパッケージを使用してこれを行うにはどうすればよいですか?ラムダを指定する方法が見つからず、実行しても正しい結果が得られるかどうか100%わかりません lars.model <- lars(x,y,type = "lasso", intercept = FALSE) …
11 r  regression  glmnet  lars 

1
負の二項/ポアソン回帰における過分散と過分散
SASでポアソン回帰を実行していたところ、ピアソンのカイ2乗値を自由度で割った値が約5であり、有意な過剰分散を示していました。したがって、負の二項モデルをproc genmodで近似し、ピアソンのカイ2乗値を自由度で割った値が0.80であることがわかりました。これは現在、分散不足であると考えられていますか?もしそうなら、これをどのように処理するのですか?私は過剰分散について多くを読み、これを処理する方法を知っていると信じていますが、分散不足があるかどうかを処理または決定する方法に関する情報は乏しいです。誰でも手伝ってくれる? ありがとう。

2
ランク付けされたデータ(スピアマン相関)の回帰直線をプロットすることは「大丈夫」ですか?
スピアマン相関を計算したデータがあり、それを出版物のために視覚化したいと思います。従属変数はランク付けされますが、独立変数はランク付けされません。視覚化したいのは、実際の勾配よりも一般的な傾向なので、独立性をランク付けし、スピアマンの相関/回帰を適用しました。しかし、自分のデータをプロットし、それを自分の原稿に挿入しようとしたとき、私は(このWebサイトで)このステートメントに出くわしました。 スピアマンの順位相関を行う場合、説明や予測に回帰直線を使用することはほとんどないため、回帰直線に相当する値を計算しないでください。 以降 線形回帰または相関の場合と同じ方法で、スピアマンの順位相関データをグラフ化できます。ただし、グラフに回帰直線を置かないでください。ランク相関で分析した場合、グラフに線形回帰直線を配置すると誤解を招く恐れがあります。 問題は、回帰直線は、独立をランク付けしてピアソン相関を計算しない場合とそれほど変わらないということです。傾向は同じですが、ジャーナルのカラーグラフィックの法外な料金のために、モノクロ表現で行ったので、実際のデータポイントがあまりにも重なりすぎて認識できません。 もちろん、これを回避するには、2つの異なるプロットを作成します。1つはデータポイント(ランク付け)、もう1つは回帰直線(ランク付けなし)ですが、引用したソースが間違っているか問題であることが判明した場合私の場合はそれほど問題ではありませんが、それは私の人生を楽にします。(私もこの質問を見ましたが、それは私を助けませんでした。) 追加情報を編集: x軸の独立変数はフィーチャの数を表し、y軸の従属変数は分類アルゴリズムがパフォーマンスで比較された場合のランクを表します。これで、平均的に比較できるアルゴリズムがいくつかありますが、プロットで言いたいのは、「分類子Aはより多くの特徴が存在するほど良くなり、分類子Bはより少ない特徴が存在するときに良くなる」のようなものです。 2を編集してプロットを含めます。 プロットされたアルゴリズムのランクと特徴の数 プロットされたアルゴリズムのランクとランク付けされた機能の数 したがって、タイトルから質問を繰り返すには: スピアマンの相関/回帰のランク付けされたデータの回帰直線をプロットしても問題ありませんか?

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.