タグ付けされた質問 「least-squares」

いくつかの条件付き確率と、95％の信頼区間を計算しています。私のケースの多くでは、（分割表からの）試行からのx成功の単純なカウントがあるnため、で提供さbinom.confint(x, n, method='exact')れてRいるような二項信頼区間を使用できます。 しかし、他の場合では、そのようなデータがないので、ベイズの定理を使用して、持っている情報から計算します。たとえば、イベントおよび与えられた場合：baaabbb P（a | b ）= P（B |）⋅ P（a ）P（b ）P(a|b)=P(b|a)⋅P(a)P(b) P(a|b) = \frac{P(b|a) \cdot P(a)}{P(b)} \ textrm {binom.confint}（\＃\ left（b \ cap {} a）、\＃（a）\ right）を使用してP（b | a）の周りの95％信頼区間を計算でき、比率P（a）/ P（b）を周波数比\＃（a）/ \＃（b）として。この情報を使用してP（a | b）の周囲の信頼区間を導出することは可能ですか？P（b | a ）P(b|a)P(b|a)binom.confint（＃（B ∩a ）、＃（a ））binom.confint(#(b∩a),#(a))\textrm{binom.confint}(\#\left(b\cap{}a),\#(a)\right)P（a ）/ P（b ）P(a)/P(b)P(a)/P(b)＃（a ）/＃（b ）#(a)/#(b)\#(a)/\#(b)P（a | b ）P(a|b)P(a|b) ありがとう。

8 r  bayesian  confidence-interval  conditional-probability  hidden-markov-model  segmentation  hypothesis-testing  statistical-significance  multiple-comparisons  multiple-regression  r  regression  survey  sample  finite-population  pca  model-selection  dataset  partitioning  clustering  time-series  least-squares  regression  standard-error  causality  r  time-series  outliers  missing-data  machine-learning  svm  hypothesis-testing  discrete-data  r  data-visualization  survey  likert  finance  regression  pca  feature-selection  stepwise-regression  underdetermined  svm  natural-language 

仮定との時系列である、（とは場合と似ていますが、ダミー= 1）の場合に変更されます。そして、。現実の世界では、これは社の定期的な株式市場のリターンになります（ただし、これは無視できます）。ダミーのがあり、これはでの単一性に等しく、それ以外の場合はゼロに等しくなります。OLS推定される時系列モデルは次のとおりです。Xit,YitXit,Yit{X_{it}},{Y_{it}}Xit∼N(0.1,1)Xit∼N(0.1,1)X_{it}\sim N(0.1,1)σ2(Yit)=1σ2(Yit)=1\sigma^2(Y_{it}) = 1mean(Yit)mean(Yit)mean(Y_{it})XitXitX_{it}t∈{1,2,...,200}t∈{1,2,...,200}t \in \{1,2,...,200\}i∈{1,2,...,N}i∈{1,2,...,N}i \in \{1,2,...,N\}NNNDtDtD_tt∈{150,151,...,200}t∈{150,151,...,200}t \in \{150,151,...,200\}∀i∀i\forall i (1)Yit=αi+βiXit+γiDt+ϵit(1)Yit=αi+βiXit+γiDt+ϵit(1) Y_{it} = \alpha_i + \beta_i X_{it} + \gamma_i D_{t} + \epsilon_{it} このモデルは通常、各ガウスマルコフ仮定に準拠しています。ただし、すべてのおよびに対してがあります。iiiE[ϵTitϵjt]≠0E[ϵitTϵjt]≠0E[\epsilon_{it}^T \epsilon_{jt}] \not= 0iiijjj 次のステップは、モデル推定値を使用してガンマのベクトルを作成することです。このベクトルを呼びます。次に、これを断面モデルで使用します。NNNγ(1)(1)(1)γ^γ^\bf{\hat{\gamma}} (2)γ^i=a+bZi+ui(2)γ^i=a+bZi+ui(2) \hat{\gamma}_i = a + b Z_i + u_i ここで、は、OLSの仮定に違反を引き起こさないいくつかの断面変数であり、説明に関連しています。γ IZiZiZ_iγ^iγ^i\hat{\gamma}_i 適用された計量経済学の文献に記載があることモデルにおけるにおけるOLS係数推定のための（i）は問題なしにリード、しかし、（ⅱ）に標準エラーにバイアス。E[ϵTitϵjt]≠0E[ϵitTϵjt]≠0E[\epsilon_{it}^T \epsilon_{jt}] \not= 0(1)(1)(1)(2)(2)(2)(2)(2)(2) これが事実である理由について誰かがアイデアを投稿してくれませんか？ が式ものを理解できません。もちろん、はスカラーであり、スカラーを転置することはできません。これは、見ているHERE彼らはこの方法を適用する場合は、。ϵTitϵitT\epsilon_{it}^TE[ϵTitϵjt]≠0E[ϵitTϵjt]≠0E[\epsilon_{it}^T \epsilon_{jt}] \not= 0ϵitϵit\epsilon_{it}

8 time-series  least-squares  residuals  bias 

理想化されたロジスティックモデルでは、各連続IVをDVにリンクするS字型の曲線を取得します。しかし、実際にはこのS字型はまれにしか発生しないため、そのようなタイプのデータの場合、ロジスティックアプローチは少し優れているように見えます。もちろん、各観測値がDVで「1」になると予測される確率は、ロジスティックで使用でき、OLS回帰では使用できません。後者では、これらの確率は[0,1]の範囲を超える可能性があるためです。しかし、探索的な目的で、予測される確率が必要ない場合、OLSを使用して、DVとの関係が強いか、中程度か、弱いかを確認するのにどのくらい適切ですか。これは一種の多変量バージョンの点双相関に相当しませんか？（標準化回帰係数、共線性統計と部分プロットは言うまでもなく、

8 regression  logistic  least-squares  eda 

OLSでは、 R2R2R^2 2つの変数の回帰の合計は、 R2R2R^2 個々の変数の2つの回帰の場合。 R2(Y∼A+B)>R2(Y∼A)+R2(Y∼B)R2(Y∼A+B)>R2(Y∼A)+R2(Y∼B)R^2(Y \sim A + B) > R^2(Y \sim A) + R^2(Y \sim B) 編集：うーん、これは些細なことです。それは、ジムで考えていた問題を解決しようとするときに得られるものです。もう一度時間を無駄にしてすみません。答えは明らかにイエスです。 Y∼N(0,1)Y∼N(0,1) Y \sim N(0,1) A∼N(0,1)A∼N(0,1) A \sim N(0,1) B=Y−AB=Y−A B = Y - A R2(Y∼A+B)=1R2(Y∼A+B)=1R^2(Y \sim A + B) = 1、明らかに。だがR2(Y∼A)R2(Y∼A)R^2(Y \sim A) 制限内で0である必要があり、 R2(Y∼B)R2(Y∼B)R^2 (Y \sim B) 上限は0.5にする必要があります。

8 regression  least-squares 

私はしばしば、低nデータセット（〜100観測）から回帰を実行します。多くの場合、結果は制御変数を含めることでのみ重要になります。しかし、私はしばしば（常に膨大な数の観察がある）人々が「制御変数の有無にかかわらず」回帰を実行したと主張するジャーナル記事をよく見ます。 なぜ制御変数がある場合とない場合で回帰を実行することが多いのですか？

8 least-squares 

と仮定して、線形回帰を推定するとします。ML推定に対するOLSの利点は何ですか？MLメソッドを使用する場合、分布を知る必要があることはわかっていますが、私がMLとOLSのどちらを使用するかに関係なく、u \ sim N（0、\ sigma ^ 2）を想定しているため、この点は重要ではないようです。したがって、OLSの唯一の利点は、\ beta推定量の漸近的な特徴にあるはずです。または、OLS法の他の利点はありますか？U 〜N（0 、σ2）u∼N(0,σ2)u\sim N(0,\sigma^2)あなたuuU 〜N（0 、σ2）u∼N(0,σ2)u\sim N(0,\sigma^2)ββ\beta

8 regression  least-squares  linear-model 

実際の応用において、私はしばしば以下の実践を目撃しました。時間の経過ペアを観察し ます。それらが線形に関連しているという仮定の下で、均一な重みではなく幾何学的な重みを使用して、一方を他方に対して回帰します。つまり、OLSは はいくつかの。これは非常に直感的です。これまでの観測の重み付けは少なくなっています。「ボックスカー」重み付けスキームと比較すると、観測値が観測ウィンドウから突然落ちることがないため、時間の経過とともに滑らかに変化する推定値を生成できるという利点もあります。ただし、との関係の根底にある確率モデルはあるのうか。(xt,yt)(xt,yt)(x_t, y_t)∑t=0∞kt(yT−t−axT−t−b)2∑t=0∞kt(yT−t−axT−t−b)2\sum_{t=0}^\infty k^{t} (y_{T-t}- a x_{T-t}-b)^2k∈(0,1)k∈(0,1)k\in (0,1)xtxtx_tytyty_tこの選択を正当化する。

8 regression  least-squares 

SSR + SSE = SSTotalの関係が成立しないため、非線形二乗モデルではR-2乗が無効であることを読みました。これが真実である理由を誰かが説明できますか？ SSRとSSEは、回帰ベクトルと残差ベクトルの二乗ノルムであり、成分はそれぞれとです。これらのベクトルが互いに直交している限り、予測子の値を当てはめられた値にマップするために使用される関数の種類に関係なく、上記の関係が常に成り立つとは限りません。私トンの時間私thi^{th}（Y私^−Y¯）（Y私^−Y¯）(\hat{Y_i}-\bar{Y})（Y私−Y私^）（Y私−Y私^）(Y_i-\hat{Y_i}) さらに、最小二乗の定義により、任意の最小二乗モデルに関連付けられた回帰ベクトルと残差ベクトルは直交しませんか？残差ベクトルは、ベクトルと回帰ベクトルの差です。残差/差分ベクトルが直交しないような回帰ベクトルの場合、回帰ベクトルに定数を掛けて、残差/差分ベクトルと直交するようにすることができます。これにより、残差/差分ベクトルのノルムも減少します。（Y私−Y私¯）（Y私−Y私¯）(Y_i-\bar{Y_i}) これをうまく説明できなかった場合は、教えてください。明確にするように努めます。

8 least-squares  model  r-squared  nonlinear 

等分散誤差項に直面したときに、Quantile Regressionと比較したOLSの勾配係数について質問があります。人口モデルは次のようになります。 y私=β0+β1バツ私+あなた私yi=β0+β1xi+uiy_i = \beta_0 + \beta_{1}x_i + u_i と あなた私uiu_iiidエラー条件であること。推定された勾配係数はβ^1β^1\hat{\beta}_{1} 同じ値に収束する β1β1\beta_{1}OLSとQRの異なる分位点？サンプル推定β^1β^1\hat{\beta}_{1} お互いに異なるかもしれません。 QR推定量の収束を考えると、等分散性が存在する場合、異なる分位点回帰のすべての勾配パラメーターが同じ値に収束することがわかります（Koenker 2005：12に示されているように）。しかし、OLS係数の収束がどのようにβ1β1\beta_{1} QR（LAD）係数の中央値と比較します β1（0.5 ）β1(0.5)\beta_{1}(0.5)例えば。両方が同じ値に収束するという証拠はありますか？私の直感は、これが事実であるべきだと私に告げています。 その答えは、おそらくOLSとQRの損失関数にあります。OLSは二乗残差を最小化し、QR（中央値）は絶対偏差を最小化します。したがって、誤差は二乗されるため、OLSはQRではなく外れ値により大きな重みを付けます。しかし、等分散性の場合、正のエラーは負のエラーと同じくらい可能性が高く、OLSと中央値のQRスロープ係数は等価（少なくとも収束に関して）であるため、外れ値は互いに打ち消し合いませんか？ 更新等 分散性の場合、異なる分位点の勾配係数は同等であるという予測をテストするために、スタタでテストを実行しました。これは、前述のKoenker（2005）の結果を確認するためだけに行われます。元の質問は、QRと比較したOLSの収束に関するものです。Stataでn = 2000の観測を作成しました。 set obs 2000 set seed 98034 generate u = rnormal(0,8) generate x = runiform(0,50) generate y = 1 + x + u このサンプルでは、​​分位点（0.10、0.50、0.90）に対してQR回帰を実行し、3つの分位点の勾配係数が同一であるという共同仮説をテストしました。 H0:β1(0.1)=β1(0.5)=β1(0.9)H0:β1(0.1)=β1(0.5)=β1(0.9)H_0: \beta_1(0.1)=\beta_1(0.5)=\beta_1(0.9) これは対応するstataコードです： …

8 regression  least-squares  quantile-regression 

次の質問があります。 と思います （バツ1、y1）、（バツ2、y2）、⋯ 、（バツ10、y10）(x1,y1),(x2,y2),⋯,(x10,y10)(x_1,y_1),(x_2,y_2),\cdots,(x_{10},y_{10}) 上の二変量観測のセットを表します （X、Y）(X,Y)(X,Y) そのような バツ2=バツ３= ⋯ =バツ10≠バツ1。x2=x3=⋯=x10≠x1.x_2=x_3=\cdots =x_{10}\ne x_1. 最小二乗回帰線はどのような条件下で YYY オン バツXX 最小絶対偏差線と同じですか？ 私たちは見つけたいと言うことを知っています α^α^\hat{\alpha} そして β^β^\hat\beta そのような Y=α^+β^バツY=α^+β^XY=\hat\alpha+\hat\beta X; LSQメソッドはβ^=Σi = 110（バツ私−バツ¯）y私Σi = 110（バツ私−バツ¯）バツ私β^=∑i=110(xi−x¯)yi∑i=110(xi−x¯)xi\hat\beta={\sum\limits_{i=1}^{10} (x_i-\bar x)y_i\over \sum\limits_{i=1}^{10}(x_i-\bar x)x_i} それゆえ α^α^\hat\alpha。誰かが私を進めるのを手伝ってくれる？

8 regression  self-study  least-squares  least-absolute-deviations 

線形回帰を使用して、実際には常に負ではない値を推定しています。予測変数も負ではありません。たとえば、給与を予測するために、教育年数と年齢を後退させます。この場合、すべての変数は常に負ではありません。 負の切片が原因で、私のモデル（OLSで決定された）はいくつかの負の予測になります（すべての値の範囲に対して予測変数の値が低い場合）。 このトピックはすでにここで説明されており、0でインターセプトを強制することは推奨されないことも承知しているため、このモデルを使用する必要があるものとして受け入れる必要があるようです。しかし、ここでの私の質問は、そのようなモデルを評価するときに受け入れられる規範とルールについてです。ここに特別なルールはありますか？具体的には： 負の見積もりが出た場合、0に丸めることはできますか？ 観測値が100であり、予測値が-300であり、可能な最小値が0であることがわかっている場合、エラーは400または100ですか？たとえば、MEとRMSEを計算する場合。 それが議論に関連している場合：私は単純な線形回帰と多重線形回帰の両方を使用しました。どちらもいくつかの負の値になります。 編集： 以下は、適合のあるサンプルの例です。 線形回帰の係数は0.0010（x）および-540（切片）です。 Xにログを使用すると、次のようになります。 ここで線形回帰は適切ですか？

8 regression  multiple-regression  least-squares 

ここで非常に基本的な質問ですが、残差平方和に「ペナルティ」（係数の2乗の和とスカラーの和）を追加すると、大きな係数をどのように減らすことができるか（数学ではなく）を理解したいと思います。ありがとう！

7 regression  least-squares  regularization 

私の計量経済学試験で、スカラー表記を忘れた場合、行列表記を覚えて逆に作業することで自分自身を救うことができることがわかりました。しかし、以下は私を混乱させました。 単純な見積もりを考えると yi^=β0^+β1^xi1yi^=β0^+β1^xi1\hat{y_i} = \hat{\beta_0} + \hat{\beta_1}x_{i1} どのようにして β^=(X′X)−1X′yβ^=(X′X)−1X′y\boldsymbol{\hat{\beta}} = \boldsymbol{(X'X)}^{-1}\boldsymbol{X'y} に β^1=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2β^1=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2\hat{\beta}_1 = \frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n(x_i-\bar{x})^2} 動けなくなる β^1=∑ni=1xiyi∑ni=1x2iβ^1=∑i=1nxiyi∑i=1nxi2\hat{\beta}_1 = \frac{\sum_{i=1}^nx_iy_i}{\sum_{i=1}^nx_i^2}

7 regression  least-squares  regression-coefficients  matrix  notation 

最近、時系列データが方程式に従ってモデル化された論文を読みました OLSは、係数を取得するために（R のコマンドと共に）ここで使用されました。統計的に正しいですか？Yt=β1Yt−1+β2X+ε.Yt=β1Yt−1+β2X+ε. Y_t=\beta_1 Y_{t−1}+\beta_2X+\varepsilon. lm()Yt−1Yt−1Y_{t-1} 時系列データを扱う場合、これは実際にはARXプロセスを意味し、として表すことができます ここで、はYule-Walker方程式から得られます。Yt=θYt−1+βX+ε,Yt=θYt−1+βX+ε, Y_t=\theta Y_{t-1}+\beta X + \varepsilon, θθ\theta ウィルと同じ結果が得？、OLS推定器は自己相関問題の受けませんか？私の統計知識は初心者レベルです。これを理解してください。θθ\thetaβ1β1\beta_1E[xtεt]≠0E[xtεt]≠0E[x_t \varepsilon_t] \ne 0

7 regression  time-series  least-squares  autoregressive 

バイアス分散のトレードオフの概念を理解しています。私の理解に基づくバイアスは、単純な分類子（例：線形）を使用して複雑な非線形決定境界をキャプチャするため、エラーを表します。そのため、OLS推定器には高いバイアスと低い分散があると期待していました。 しかし、私にはOLS = 0のバイアスが意外であるというガウスマルコフ定理に出くわしました。OLSのバイアスが高いと予想していたため、OLSのバイアスがどのようにゼロであるかを説明してください。バイアスの理解が間違っているのはなぜですか？

7 regression  machine-learning  least-squares  unbiased-estimator  blue