タグ付けされた質問 「regression」

次の2つの時系列（x、y、以下を参照）が与えられた場合、このデータの長期傾向間の関係をモデル化する最良の方法は何ですか？ 両方の時系列は、時間の関数としてモデル化されたときに有意なダービン・ワトソン検定を持ち、どちらも定常ではありません（用語を理解しているように、またはこれは、残差で定常である必要があるだけですか？）。これは、基本的にはarima（1,1,0）を使用して、一方を他方の関数としてモデル化する前に、各時系列の1次の差（少なくとも、おそらく2次）を取得する必要があることを意味します。 ）、arima（1,2,0）など モデル化する前になぜトレンド除去する必要があるのか​​理解できません。自己相関をモデル化する必要性を理解していますが、なぜ差異化が必要なのかわかりません。私には、差分によるトレンド除去が、関心のあるデータの主要な信号（この場合は長期トレンド）を削除し、より高い周波数の「ノイズ」を残す（ノイズという用語を緩く使用する）ように見えます。確かに、ある時系列と別の時系列との間にほぼ完全な関係を作成し、自己相関がないシミュレーションでは、時系列を差分すると、関係検出の目的に対して直観に反する結果が得られます。たとえば、 a = 1:50 + rnorm(50, sd = 0.01) b = a + rnorm(50, sd = 1) da = diff(a); db = diff(b) summary(lmx <- lm(db ~ da)) この場合、bはaと強く関連していますが、bの方がノイズが多くなります。私にとってこれは、低周波信号間の関係を検出するための理想的なケースでは差分が機能しないことを示しています。差分は時系列分析で一般的に使用されることを理解していますが、高周波信号間の関係を決定するために、より役立つようです。何が欠けていますか？ データの例 df1 <- structure(list( x = c(315.97, 316.91, 317.64, 318.45, 318.99, 319.62, 320.04, 321.38, 322.16, 323.04, 324.62, 325.68, …

12 regression  time-series  arima 

私は計量経済学者ではなく、理解に苦労しているいくつかのデータ分析コードを継承しました。1つのモデルは、次のStataコマンドでインストルメンタル変数の回帰を実行します ivreg my_dv var1 var2 var3 (L.my_dv = D2.my_dv D3.my_dv D4.my_dv) このデータセットは、この一連の変数の複数の順次観測を含むパネルです。 このコードがDVの遅れた値を計測器として使用するのはなぜですか？私が理解しているように（古い教科書を掘り下げることから）、リグレッサがエラー項と相関しているために問題がある場合、IV推定が使用されます。ただし、DVのラグを楽器として選択することについては言及されていません。 コードのこの行へのコメントは「因果関係」について述べています。ここで何が目的であったかを理解するための助けがあれば、大歓迎です。

12 regression  stata  instrumental-variables 

私はpython scikit-learn マニュアルで回帰メトリックについて読んでいましたが、それぞれに独自の式がありますが、と分散スコアの違いは直感的にわかりません。私のモデル。R2R2R^2

12 regression  variance  scikit-learn  r-squared  model-evaluation 

共線性を回避するために、1つのレベルをベースラインとしてフィットできるようにする、カテゴリ変数とそれぞれのダミー変数コーディングの概念に精通しています。また、そのようなモデルからのパラメーター推定値を解釈する方法にも精通しています。ベースラインカテゴリと比較した、カテゴリカル予測子の特定の近似レベルの結果の予測される変化。 わからないのは、合計が1になる比率である一連の独立変数をどのように解釈するかです。モデルのすべての比率を当てはめると、再び共線性が得られるため、おそらく1つのカテゴリをベースラインとして除外する必要があります。私はまた、この変数の重要性の全体的なテストのためにタイプIII SSを見ることを想定しています。ただし、これらのレベルのパラメーター推定値は、モデルに適合するか、ベースラインと見なされたものとどのように解釈しますか？ 例：郵便番号レベルでは、独立変数は変成岩、火成岩、堆積岩の比率です。ご存知かもしれませんが、これらは3つの主要な岩石タイプであり、すべての岩石はこれらの岩石の1つとして分類されます。そのため、3つすべての比率の合計は1になります。結果は、それぞれの郵便番号の平均ラドンレベルです。 モデルの予測因子として変成岩と火成岩の比率を当てはめ、堆積物をベースラインとして残した場合、2つの適合レベルの全体的なタイプIII SS F検定は、全体として岩のタイプが重要かどうかを示します。結果の予測因子（平均ラドンレベル）。次に、個々のp値（t分布に基づく）を見て、一方または両方の岩石タイプがベースラインと大幅に異なるかどうかを判断できます。 ただし、パラメーターの見積もりになると、私の脳はそれらを純粋にグループ（ロックタイプ）間の結果の予測される変化として解釈することを望み続け、それらが比率として当てはまるという事実を組み込む方法を理解していません。 場合はの推定値変成岩はあったが、0.43、言う、解釈は岩が変成対の堆積岩であるとき、0.43単位で予測平均ラドンレベルが増加するということだけではありません。ただし、この解釈は、変成岩タイプの比率のある種の単位増加（たとえば、0.1）の単純なものでもありません。これは、ベースライン（堆積物）にも関連しているという事実を反映していないためです。割合変成岩は、本質的に、モデル内の他のロック・レベルのフィット感、の割合に変更火成岩を。ββ\beta そのようなモデルの解釈を提供するソースを持っている人はいますか、そうでなければここに簡単な例を提供できますか？

12 regression  interpretation  proportion  multicollinearity 

私はAndrew Ngのコース「機械学習」を数か月前にCourseraで受講しましたが、ほとんどの数学/派生物に注意を払うことなく、実装と実用性に焦点を合わせていました。それ以来、私は根本的な理論のいくつかを研究し始め、Ng教授の講義のいくつかを再訪しました。私は彼の "Regularized Linear Regression"についての講義を読んでいましたが、彼が次のコスト関数を与えることがわかりました。 J（θ ）= 12 メートル[ ∑i = 1メートル（hθ（x（私））− y（私））2+ λ Σj = 1んθ2j]J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθj2]J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j] 次に、このコスト関数に次の勾配を与えます。 ∂∂θjJ（θ ）= 1メートル[ ∑i = 1メートル（hθ（x（私））− y（私））x（私）j- λ θj]∂∂θjJ(θ)=1m[∑i=1m(hθ(x(i))−y(i))xj(i)−λθj]\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j] 私は彼がどのように一方から他方へと移るのかについて少し混乱しています。自分で導出しようとすると、次の結果が得られました。 ∂∂θjJ（θ ）= 1メートル[ ∑i = 1メートル（hθ（x（私））+ y（私））x（私）j+ …

12 regression  self-study 

私は、多変量ロジスティック回帰を実行してY、特定の入場期間内に特別養護老人ホームでの従属変数が死亡するようにし、次の結果を得ました（変数が開始する変数がA連続値であり、開始する変数Bがカテゴリカルである場合）。 Call: glm(Y ~ A1 + B2 + B3 + B4 + B5 + A6 + A7 + A8 + A9, data=mydata, family=binomial) Deviance Residuals: Min 1Q Median 3Q Max -1.0728 -0.2167 -0.1588 -0.1193 3.7788 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 20.048631 6.036637 3.321 0.000896 *** A1 0.051167 …

12 r  regression  logistic 

LASSOを使用してモデルを近似する場合、R Squaredは理想的な尺度ではないことをいくつかの箇所で読みました。しかし、それがなぜなのか正確にはわかりません。 さらに、最良の代替案を推奨できますか？

12 regression  lasso  r-squared  penalized 

私は非常に良い線形回帰を持っていると思います（大学のプロジェクトのため、本当に正確である必要はありません）。 ポイントは、私が残差対予測値をプロットした場合、（私の教師によれば）不均一分散のヒントがあることです。 しかし、残差のQQプロットをプロットすると、それらが正規分布していることは明らかです。さらに、残差のシャピロ検定の値はなので、残差が実際に正規分布していることは間違いないと思います。ppp0.80.80.8 質問：残差が正規分布している場合、予測値に不均一性はどのようにありますか？

12 regression  normal-distribution  residuals  heteroscedasticity 

2つの異なる条件下でのmRNAの経時的な分解率を表す2つの線形回帰モデルを比較したいと思います。各モデルのデータは個別に収集されました。 これがデータセットです。 時間（時間）ログ（処理A）ログ（処理B） 0 2.02 1.97 0 2.04 2.06 0 1.93 1.96 2 2.02 1.91 2 2.00 1.95 2 2.07 1.82 4 1.96 1.97 4 2.02 1.99 4 2.02 1.99 6 1.94 1.90 6 1.94 1.97 6 1.86 1.88 8 1.93 1.97 8 2.12 1.99 8 2.06 1.93 12 1.71 …

12 regression  model-comparison 

サンプル分散の分布 これは、は行列形式 xAx '（A：対称）で表すことができ、x'QDQ'x（Q：正規直交、D：対角行列）でも表すことができます。 ∑(Xi−X¯)2σ2∼χ2(n−1)∑(Xi−X¯)2σ2∼χ(n−1)2 \sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)} ∑(Xi−X¯)2n−1∼σ2n−1χ2(n−1)∑(Xi−X¯)2n−1∼σ2n−1χ(n−1)2 \sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)} (X−X¯)2(X−X¯)2(X-\bar{X})^2xAx′xAx′xAx'x′QDQ′xx′QDQ′xx'QDQ'x 何約∑(Yi−β^0−β^1Xi)2∑(Yi−β^0−β^1Xi)2\sum(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2仮定が与えられると、(Y−β0−β1X)∼N(0,σ2)(Y−β0−β1X)∼N(0,σ2)(Y - \beta_0 - \beta_1X)\sim \mathcal{N}(0, \sigma^2)？ I図∑(Yi−β^0−β^1Xi)2σ2∼χ2(n−2).∑(Yi−β^0−β^1Xi)2σ2∼χ(n−2)2.\sum\frac{(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2}{\sigma^2}\sim \chi^2_{(n-2)}. しかし、それを証明したり、見せたりする方法はわかりません。 \ chi ^ 2 _ {（n-2）}として正確に配布されていχ2(n−2)χ(n−2)2\chi^2_{(n-2)}ますか？

12 regression  mathematical-statistics  degrees-of-freedom  sums-of-squares 

どちらのRのドキュメントもあまり明らかにしていません。このリンクから得られることは、どちらを使用しても問題ないということです。私が得られないのは、なぜ彼らが等しくないのかです。 事実：Rのステップワイズ回帰関数はをstep()使用しextractAIC()ます。 興味深いことに、Rの 'mtcars'データセットでlm()モデルとglm()'null'モデル（切片のみ）を実行すると、AICとで異なる結果が得られextractAIC()ます。 > null.glm = glm(mtcars$mpg~1) > null.lm = lm(mtcars$mpg~1) > AIC(null.glm) [1] 208.7555 > AIC(null.lm) [1] 208.7555 > extractAIC(null.glm) [1] 1.0000 208.7555 > extractAIC(null.lm) [1] 1.0000 115.9434 上記の両方のモデルが同じであり、両方のモデルでAIC()同じ結果が得られることを考えると、奇妙です。 誰も問題にいくつかの光を投げることができますか？

11 r  regression  aic  stepwise-regression 

回帰係数の標準誤差を計算するとき、計画行列ランダム性は考慮しません。たとえばOLSでは、をとして計算しますXXXvar(β^)var(β^)\text{var}(\hat{\beta})var((XTX)−1XTY)=σ2(XTX)−1var((XTX)−1XTY)=σ2(XTX)−1\text{var}((X^TX)^{-1}X^TY) = \sigma^2(X^TX)^{-1} がランダムであると見なされる場合、総分散の法則は、ある意味で、の分散の追加の寄与も要求します。すなわちXXXXXX var （β^）= var （E（β^| バツ））+ E（var （β^| バツ））。var(β^)=var(E(β^|X))+E(var(β^|X)).\text{var}(\hat{\beta}) = \text{var}(E(\hat{\beta}|X)) + E(\text{var}(\hat{\beta}|X)). これは、OLS推定量が本当に不偏である場合、期待値が一定であるため、最初の項が消えます。2番目の項は実際には次のようになります：。σ2cov （X）− 1σ2cov(X)−1\sigma^2 \text{cov}(X)^{-1} パラメトリックモデルがわかっている場合は、を実際の共分散推定値に置き換えてみませんか。たとえば、が無作為化された治療の割り当てである場合、二項分散より効率的な推定値にする必要がありますか？XXXXTXXTXX^TXXXXE(X)(1−E(X))E(X)(1−E(X))E(X)(1-E(X)) 柔軟なノンパラメトリックモデルを使用して、OLS推定でのバイアスの考えられる原因を推定し、最初の合計の法則分散項設計への感度（つまりの分布）を適切に考慮しないのはなぜですか？XXXvar(E(β^|X))var(E(β^|X))\text{var}(E(\hat{\beta}|X))

11 regression  probability  variance  inference 

参考文献によると、ブック1、ブック2および紙。 正則化された回帰（Ridge、LASSO、Elastic Net）とそれらの制約式の間には同等性があると述べられています。 私も見てきましたクロス検証済み1、およびクロス検証済み2、私は明確な答え等価ショーやロジックを見ることができません。 私の質問は Karush–Kuhn–Tucker（KKT）を使用してその同等性を示す方法は？ 次の式はリッジ回帰用です。 注意 この質問は宿題ではありません。このトピックの理解を深めるだけです。 更新 私はまだアイデアを思いつきません。

11 regression  optimization  lasso  ridge-regression  elastic-net 

多項式回帰の信頼区間の形状を把握するのが困難です。 これは人工的な例であり、です。左の図はUPV（スケーリングされていない予測分散）を示し、右のグラフは、信頼区間と、X = 1.5、X = 2、X = 3での（人工）測定ポイントを示しています。Y^= A + B ⋅ X+ C ⋅ X2Y^=a+b⋅X+c⋅X2\hat{Y}=a+b\cdot X+c\cdot X^2 基礎となるデータの詳細： データセットは3つのデータポイント（1.5; 1）、（2; 2.5）および（3; 2.5）で構成されています。 各ポイントは10回「測定」され、各測定値は属します。結果の30のポイントで多項式モデルを使用したMLRが実行されました。y± 0.5y±0.5y \pm 0.5 信頼区間は式 および （両方の式は、Myers、Montgomery、Anderson-Cook、「Response Surface Methodology」第4版、407および34ページから取得されます）、Y（X0）-TUPV= Va r [ y^（x0）]σ^2= x』0（X』バツ）− 1バツ0UPV=Var[y^(x0)]σ^2=x0′(X′X)−1x0 UPV=\frac{Var[\hat{y}(x_0)]}{\hat{\sigma}^2}=x_0'(X'X)^{-1}x_0 ≤μY| X0≤Y（X0）+Tα/2、DF（ERROR）√y^（x0）− tα / 2 、df（E R R O R ）σ^2⋅ …

11 regression  confidence-interval 

この質問は、Martijnのこちらの回答に触発されています。 二項モデルやポアソンモデルのような1つのパラメーターファミリーにGLMを当てはめ、それが（たとえば、準ポアソンとは対照的に）完全な尤度手順であると仮定します。次に、分散は平均の関数です。二項式：およびポアソン。var[X]=E[X]E[1−X]var[X]=E[X]E[1−X]\text{var}[X] = E[X]E[1-X]var[X]=E[X]var[X]=E[X]\text{var}[X] = E[X] 残差が正規分布している場合の線形回帰とは異なり、これらの係数の有限の正確なサンプリング分布は不明であり、結果と共変量のおそらく複雑な組み合わせです。また、GLMの平均の推定値を使用します。これは、結果の分散のプラグイン推定値として使用されます。 ただし、線形回帰と同様に、係数には漸近正規分布があるため、有限標本推論では、それらの標本分布を正規曲線で近似できます。 私の質問は、有限サンプル内の係数のサンプリング分布にT分布近似を使用することで何かを得られるかどうかです。一方で、我々は知っている、ブートストラップやジャックナイフ推定が適切にこれらの矛盾を説明することができるとき、T近似は間違った選択のように思えるので、分散をまだ我々は正確な分布を知りません。一方で、T分布のわずかな保守主義は、​​実際には単純に好まれます。

11 regression  generalized-linear-model  inference  approximation  t-distribution