タグ付けされた質問 「least-squares」

... 2SLSおよびその他のIV手順を適用する際のもう1つの潜在的な問題は、2SLS標準誤差が「大きくなる」傾向があることです。このステートメントが通常意味するのは、2SLS係数が統計的に有意でないか、2SLS標準であることです。エラーは、OLSの標準エラーよりもはるかに大きくなります。当然のことながら、2SLS標準誤差の大きさは、とりわけ、推定に使用される計測器の品質に依存します。 この引用は、Wooldridgeの「断面およびパネルデータの計量分析」からのものです。なぜこれが起こるのでしょうか？数学的な説明をお願いします。 OLSの（推定）漸近分散簡単のためhomoskedasticityを想定推定によって与えられる 、一方2SLS推定量の場合 ここで、 Avarˆ(β^OLS)=nσ2(X′X)−1Avar^(β^OLS)=nσ2(X′X)−1\widehat{Avar}(\hat{\beta}_{OLS}) = n\sigma^2(X'X)^{-1}Avarˆ(β^2SLS)=nσ2(X^′X^)−1Avar^(β^2SLS)=nσ2(X^′X^)−1\widehat{Avar}(\hat{\beta}_{2SLS}) = n\sigma^2(\hat{X}'\hat{X})^{-1}X^=PzX=Z(Z′Z)−1Z′X.X^=PzX=Z(Z′Z)−1Z′X.\hat{X} = P_zX = Z(Z'Z)^{-1}Z'X. XXXは、内生変数を含むリグレッサの行列であり、は、インストルメンタル変数の行列です。ZZZ したがって、2SLSの分散を書き換えると、 Avarˆ(β^2SLS)=nσ2(X′Z(Z′Z)−1Z′X)−1.Avar^(β^2SLS)=nσ2(X′Z(Z′Z)−1Z′X)−1.\widehat{Avar}(\hat{\beta}_{2SLS}) = n\sigma^2\left(X'Z(Z'Z)^{-1}Z'X\right)^{-1}. ただし、上記の式からと結論付けることはできません。Avarˆ(β^2SLS)≥Avarˆ(β^OLS)Avar^(β^2SLS)≥Avar^(β^OLS)\widehat{Avar}(\hat{\beta}_{2SLS}) \geq \widehat{Avar}(\hat{\beta}_{OLS})

9 self-study  variance  least-squares  instrumental-variables 

楽器変数と2段階回帰の理論を知っているので、これはばかげた質問であることを知っています。それでも、以下に対する明確な答えを見たことがありません。 最初のリグレッサの1つと相関していない観測された変数による内生性があると仮定します。これを修正する一般的な方法は、観測されていない効果に相関する計測変数を見つけ、2段階の回帰アプローチを使用することです。 さて、私の質問は、なぜそのようなトラブルを経験するのかということです。なぜ、初期変数の見積もりに標準変数としてインストルメンタル変数を含めないのでしょうか。

8 regression  least-squares  instrumental-variables 

この質問は、どこかでここで回答されたと確信できるほど根本的なようですが、私はそれを見つけていません。 回帰の従属変数が正規分布している場合、最大尤度と通常の最小二乗が同じパラメーター推定を生成することを理解しています。 従属変数が正規分布していない場合、OLSパラメーター推定はMLEと同等ではなくなりますが、それらは依然として最良（最小分散）線形不偏推定（青）です。 それでは、OLSが提供するもの（BLUEであること）を超えてMLEを望ましいものにする特性は何ですか？ 言い換えると、OLS推定が最尤推定であると言えない場合、何を失うのですか？ この質問をやる気にさせるために、明らかに非正規の従属変数が存在する場合に、なぜOLS以外の回帰モデルを選択するのか疑問に思っています。

8 regression  maximum-likelihood  least-squares  blue 

私はいくつかのリグレッションを実行しており、安全を確保したいと思ったため、全体にわたってHAC（不均一分散と自己相関の一貫性）標準エラーを使用することにしました。シリアル相関が存在しないいくつかのケースがあるかもしれません。これはとにかく有効なアプローチですか？欠点はありますか？

8 time-series  least-squares  standard-error  robust  robust-standard-error 

単純な線形回帰モデルの場合、OLSと最尤法（正規分布を想定）の両方で同じ出力（パラメーター値）が得られることがわかりました。このことから、OLSは正規分布についても暗黙の仮定を行っていると言えますか？両方が同じ値を生成する理由に興味はありませんが、どちらがデータについてそれほど厳密ではない仮定をするのですか？

8 regression  normal-distribution  maximum-likelihood  least-squares 

Rを使用して線形回帰を実行しています。予測間隔を計算する方法を見てきましたが、これらは等分散性データに依存します。異分散データを使用して予測間隔を計算する方法はありますか？

8 r  regression  least-squares  heteroscedasticity  prediction-interval 

与えられたモデル： y=β0+β1⋅f+uy=β0+β1⋅f+u y = \beta_0 + \beta_1 \cdot f + u ここで、はダミーで、女性の場合は、それ以外の場合はです。yは高さ（cm）です。サンプルサイズは、合計でです。さらにおよび。パラメータの推定値を計算します。fff=1=1=1000nfemale=nmale=100→200nfemale=nmale=100→200n_{female}=n_{male}=100 \rightarrow 200y¯male=175y¯male=175\bar{y}_{male} = 175y¯female=165y¯female=165\bar{y}_{female}=165 私の試み： よく知られた公式を使用する： β^=(X′X)−1X′yβ^=(X′X)−1X′y \boldsymbol{\hat{\beta}} = (\boldsymbol{X}'\boldsymbol{X})^{-1} \boldsymbol{X}'\boldsymbol{y} 取得： [200100100100]−1[170⋅200165⋅200][200100100100]−1[170⋅200165⋅200] \begin{bmatrix} 200 & 100 \\ 100 & 100 \\ \end{bmatrix} ^{-1} \begin{bmatrix} 170 \cdot 200 \\ 165 \cdot 200 \end{bmatrix} 最初に（\ boldsymbol {X} '\ boldsymbol …

8 self-study  least-squares 

統計学習の入門（ジェームスら）、3.7節運動5において、それはのための式と述べ仮定インターセプトすることなく、線形回帰がある ここで、およびは、OLSでの通常の推定値です単純な線形回帰の場合（）。 β 1= N Σ I = 1、X I 、Y Iβ^1β^1\hat{\beta}_1β0=ˉY-β1ˉXβ1=S、X、Yβ^1=∑i=1nxiyi∑i=1nx2i,β^1=∑i=1nxiyi∑i=1nxi2,\hat{\beta}_1 = \dfrac{\displaystyle\sum\limits_{i=1}^{n}x_iy_i}{\displaystyle \sum\limits_{i=1}^{n}x_i^2}\text{,}β^0=y¯−β^1x¯β^0=y¯−β^1x¯\hat{\beta}_0 = \bar{y}-\hat{\beta}_1\bar{x} SX、Y= N Σ iは=1（XI- ˉ X）（YI- ˉ Y）β^1=SxySxxβ^1=SxySxx\hat{\beta}_1 = \dfrac{\displaystyle S_{xy}}{S_{xx}}Sxy=∑i=1n(xi−x¯)(yi−y¯)Sxy=∑i=1n(xi−x¯)(yi−y¯)S_{xy} = \displaystyle\sum\limits_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y}) これは実際の演習ではありません。方程式を導き出す方法をただ考えているだけです。行列代数を使用せずに、それをどのように導出しますか？ 私の試み：場合、。 β 1= ˉ Yβ^0=0β^0=0\hat{\beta}_0 = 0β^1= y¯バツ¯= Sx ySx xβ^1=y¯x¯=SxySxx\hat{\beta}_1 = \dfrac{\bar{y}}{\bar{x}} = \dfrac{S_{xy}}{S_{xx}} …

8 self-study  least-squares 

同じシステムの3つのデータセットがあります。しかし、最初のものについては、21の測定があります。2番目と3番目の測定値は9つしかありません。次に、これら3つのデータセットを使用してモデルを作成しました（つまり、3つのモデル、データセットごとに1つ）。これら2つのデータセットの誤差を比較したい場合。LSE（最小二乗誤差）の代わりにMSEを使用することによる明確な利点はありますか？インターネットでは、これに対する明確な答えは見つかりません。主な利点は何ですか？

8 least-squares  sums-of-squares 

OLSの余分な変数を調整するための通常の教科書の扱いでは、推定量はまだ偏っていませんが、分散が大きい可能性があります（たとえば、Greene、Econometric Analysis、第7版、58ページを参照）。 先日、Judea Pearlによるシンプソンのパラドックスの扱いと、「制御変数を回帰モデルに段階的に含めることで、すべてのステップで推定因果関係の兆候が切り替わる」ことをシミュレートする素晴らしいWebページを偶然見つけました。私にとって、これは上記のステートメントとはどういうわけか矛盾しています。これは非常に微妙な（非常に重要ですが）問題になる可能性があるので、他の文献へのポインタがあれば非常に役立ちます。特に私を驚かせるものは、グリーンが彼の評価の証拠を持っていると主張していることです。

8 least-squares  bias  causality  simpsons-paradox 

時間に関係なく、一連の観察結果があります。自己相関テストを実行する必要があるかどうか疑問に思っていますか？私のデータには時間コンポーネントがないので、それは意味がないように思えます。しかし、実際にシリアル相関LMテストを試したところ、残差の強い自己相関が示されました。それは意味がありますか？私が考えていることは、実際にデータセット内の観測値を可能な限り任意の順序に並べ替えることができ、これにより残差の自己相関が変化することです。だから問題は-この場合、自己相関についてまったく気にする必要がありますか？また、テストで示されている場合、Newey-Westを使用してSEを調整する必要がありますか？ありがとう！

8 multiple-regression  least-squares  autocorrelation  residuals  cross-section 

残差の正規分布の重要性に疑問を呈するように見えるこの投稿を参照します。これは、不均一分散とともに、ロバストな標準誤差を使用することで回避できる可能性があると主張しています。 私はさまざまな変換（ルート、ログなど）を検討しましたが、すべて問題を完全に解決するのに役に立たないことがわかりました。 これが私の残差のQQプロットです。 データ 従属変数：すでに対数変換を使用（このデータの外れ値の問題と歪度の問題を修正） 独立変数：会社の年齢、およびいくつかのバイナリ変数（指標）（後で、独立変数として別の回帰のためにいくつかのカウントがあります） iqrStata のコマンド（Hamilton）は、正規性を除外する重大な外れ値を特定しませんが、下のグラフはそうでないことを示唆しており、Shapiro-Wilkテストもそうです。

8 normal-distribution  stata  least-squares  residuals  assumptions 

このコードを実行すると： require(nlme) a <- matrix(c(1,3,5,7,4,5,6,4,7,8,9)) b <- matrix(c(3,5,6,2,4,6,7,8,7,8,9)) res <- lm(a ~ b) print(summary(res)) res_gls <- gls(a ~ b) print(summary(res_gls)) 私は同じ係数と係数の同じ統計的有意性を得ます： Loading required package: nlme Call: lm(formula = a ~ b) Residuals: Min 1Q Median 3Q Max -2.7361 -1.1348 -0.2955 1.2463 3.8234 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) …

8 r  least-squares  generalized-least-squares 

実験中に3回評価された10人の参加者の2つのグループがあります。グループ間および3つの評価全体の違いをテストするために、group（コントロール、実験）、time（最初、2、3）、およびを使用して2x3混合設計ANOVAを実行しましたgroup x time。両方timeとgroup有意な相互作用があったほか、重大な結果group x time。 グループメンバーシップに関しても、3回の評価の違いをさらにチェックする方法をよく知りません。実際、最初は、ANOVAのオプションで、ボンフェローニの補正を使用してすべての主要な効果を比較することだけを指定しました。しかし、この方法で、グループを区別せずに、サンプル全体の時間の違いをこのように比較したことに気付きましたね。 したがって、可能な解決策を見つけるためにインターネットでたくさん検索しましたが、結果はほとんどありませんでした。私と同じようなケースは2つしか見つかりませんでしたが、解決策は逆です！ 記事では、混合設計の後、著者らは被験者ごとに1つずつ、2回の反復測定ANOVAを事後的に実行しました。このようにして、2つのグループは修正なしで個別に分析されます。 インターネットのガイドでは、混合ANOVAの実行中に、SPSS構文のCOMPARE(time) ADJ(BONFERRONI)直後にを手動で追加すると述べています/EMMEANS=TABLES(newgroup*time)。このように、3つの時間はグループごとに個別に比較されます。ボンフェローニ補正を使用すると、私は正しいのでしょうか。 どう思いますか？どちらが正しい方法でしょうか？

8 anova  mixed-model  spss  post-hoc  bonferroni  time-series  unevenly-spaced-time-series  classification  normal-distribution  discriminant-analysis  probability  normal-distribution  estimation  sampling  classification  svm  terminology  pivot-table  random-generation  self-study  estimation  sampling  estimation  categorical-data  maximum-likelihood  excel  least-squares  instrumental-variables  2sls  total-least-squares  correlation  self-study  variance  unbiased-estimator  bayesian  mixed-model  ancova  statistical-significance  references  p-value  fishers-exact  probability  monte-carlo  particle-filter  logistic  predictive-models  modeling  interaction  survey  hypothesis-testing  multiple-regression  regression  variance  data-transformation  residuals  minitab  r  time-series  forecasting  arima  garch  correlation  estimation  least-squares  bias  pca  predictive-models  genetics  sem  partial-least-squares  nonparametric  ordinal-data  wilcoxon-mann-whitney  bonferroni  wilcoxon-signed-rank  traminer  regression  econometrics  standard-error  robust  misspecification  r  probability  logistic  generalized-linear-model  r-squared  effect-size  gee  ordered-logit  bayesian  classification  svm  kernel-trick  nonlinear  bayesian  pca  dimensionality-reduction  eigenvalues  probability  distributions  mathematical-statistics  estimation  nonparametric  kernel-smoothing  expected-value  filter  mse  time-series  correlation  data-visualization  clustering  estimation  predictive-models  recommender-system  sparse  hypothesis-testing  data-transformation  parametric  probability  summations  correlation  pearson-r  spearman-rho  bayesian  replicability  dimensionality-reduction  discriminant-analysis  outliers  weka 

私は推定する必要があるモデルを有する、 とΣ K π K = 1 のための K ≥ 1とπ K ≥ 0 のための K ≥ 1。Y= π0+ π1バツ1+ π2バツ2+ π３バツ３+ε,Y=π0+π1X1+π2X2+π3X3+ε, Y = \pi_0 + \pi_1 X_1 + \pi_2 X_2 + \pi_3 X_3 + \varepsilon, ∑kπk=1 for k≥1∑kπk=1 for k≥1\sum_k \pi_k = 1 \text{ for }k \geq 1πk≥0 for …

8 r  regression  econometrics  least-squares  constrained-regression