タグ付けされた質問 「least-squares」

私は、計量経済学でフリッシュ・ウォーの定理を教えることになっていますが、これは勉強していません。 私はその背後にある数学を理解しており、「他のリグレッサの影響を「排除」する場合、多重線形モデルから特定の係数に対して得られる係数が単純回帰モデルの係数に等しい」という考えも願っています。したがって、理論的なアイデアは一種のクールです。（私が完全に誤解した場合、訂正を歓迎します） しかし、それはいくつかの古典的/実用的な使用法を持っていますか？ 編集：私は答えを受け入れましたが、他の例/アプリケーションをもたらす新しいものを喜んで持っています。

15 regression  econometrics  least-squares  projection  decomposition 

影響関数の働きを理解しようとしています。誰かが簡単なOLS回帰の文脈で説明できますか y私= α + β⋅ X私+ ε私yi=α+β⋅xi+εi\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation} 私はしたい場所影響関数を用。ββ\beta

15 regression  least-squares 

注： =合計平方和、 = 平方誤差合計、 =回帰平方和。タイトルの方程式は、多くの場合次のように記述されます。SSTSSTSSTSSESSESSESSRSSRSSR ∑i = 1n（y私− y¯）2= ∑i = 1n（y私− y^私）2+ ∑i = 1n（y^私− y¯）2∑私=1n（y私−y¯）2=∑私=1n（y私−y^私）2+∑私=1n（y^私−y¯）2\sum_{i=1}^n (y_i-\bar y)^2=\sum_{i=1}^n (y_i-\hat y_i)^2+\sum_{i=1}^n (\hat y_i-\bar y)^2 かなり簡単な質問ですが、直感的な説明を探しています。直感的には、がより理にかなっているように思えます。たとえば、ポイントに対応するy値およびとします。ここで、は回帰直線上の対応するポイントです。また、データセットの平均y値がと仮定し。次に、この特定のポイントiについて、、および。明らかに、です。この結果はデー​​タセット全体に一般化されませんか？わかりません。SST≥ SSE+ SSRSST≥SSE+SSRSST\geq SSE+SSRバツ私バツ私x_i、Y iが = 3 、Y I ˉ Y = 0 S S T = （5 - 0 ）2 = 5 2 = 25 …

14 regression  least-squares  r-squared 

誰かが私のために簡単に説明できますか、なぜOLS推定量を計算するために6つの仮定のそれぞれが必要ですか？多重共線性についてのみ見つけました。それが存在する場合、マトリックスを反転（X'X）できず、全体の推定量を推定できません。その他（線形性、ゼロ平均誤差など）はどうですか？

14 least-squares  assumptions 

またはを最小化するのではx^2なく、最小化しようとする理由。数が正確に2でなければならない理由はありますか、それとも単に数学を単純化する利点がある規則ですか？|x|^1.95|x|^2.05

14 standard-deviation  least-squares 

Xの形状（ 2、5 ）とyの形状（2、）があるとしましょう これは動作します： np.linalg.lstsq(X, y) Xが形状（N、5）で、N> = 5である場合にのみ、これが機能すると期待しますが、なぜ、どのように？ 予想どおり5つのウェイトが返されますが、この問題はどのように解決されますか？ 2つの方程式と5つの未知数があるのではないでしょうか？ numpyはこれをどのように解決できますか？ より人工的な方程式を作成するには、補間のようなことをする必要がありますか？..

14 least-squares  linear-algebra  numpy 

Bishopの機械学習に関する本では、多項式関数を一連のデータポイントに曲線近似する問題について説明しています。 Mを近似した多項式の次数とします。そのように述べています Mが増加すると、係数の大きさは通常大きくなることがわかります。特に、M = 9多項式の場合、対応する多項式関数が各データポイントに正確に一致するように、ただしデータポイント間で（特に両端の近くで）大きな正および負の値を作成することにより、係数がデータに対して微調整されました範囲）関数は大きな振動を示します。 大きな値がデータポイントにより密接に適合することを意味する理由がわかりません。より適切にフィッティングするために、代わりに小数点以下の値がより正確になると思います。

13 regression  least-squares  curve-fitting  polynomial 

この質問は、ここでのコメントの長い議論から着想を得ています： 線形回帰は正規分布をどのように使用しますか？ ：通常の線形回帰モデルでは、単純化のためにここで一つだけの予測で書かれた 知られている定数であり、ゼロ平均の独立した誤差項です。さらに誤差の正規分布を仮定すると、の通常の最小二乗推定量と最尤推定量は同じです。Yi=β0+β1xi+ϵiYi=β0+β1xi+ϵ私 Y_i = \beta_0 + \beta_1 x_i + \epsilon_i xixix_iϵiϵi\epsilon_iβ0,β1β0,β1\beta_0, \beta_1 だから私の簡単な質問：mleが通常の最小スクアレス推定量と同一になるような誤差項の他の分布はありますか？1つの含意は簡単に表示でき、もう1つの含意はそうではありません。

13 regression  normal-distribution  mathematical-statistics  maximum-likelihood  least-squares 

モデルではy=Xβ+ϵy=Xβ+ϵ{y} = X \beta + \epsilon、我々は推定できたββ\beta正規方程式を使用して： β^=(X′X)−1X′y,β^=(X′X)−1X′y,\hat{\beta} = (X'X)^{-1}X'y,我々は得ることができ、Y =X βを。y^=Xβ^.y^=Xβ^.\hat{y} = X \hat{\beta}. 残差のベクトルは、 ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon, ここで、Q=I−X(X′X)−1X′.Q=I−X(X′X)−1X′.Q = I - X (X'X)^{-1} X'. 私の質問は、tr（Q ）= n …

13 regression  least-squares  inference 

通常の最小二乗法の代わりに最尤推定法を使用することが望ましいのはいつですか？それぞれの長所と制限は何ですか？一般的な状況でそれぞれを使用する場所に関する実用的な知識を収集しようとしています。

13 regression  maximum-likelihood  least-squares 

標準のOLS回帰で2つの仮定（エラーの正規分布、等分散性）に違反する場合、標準誤差と信頼区間のブートストラップは、リグレッサ係数の有意性に関して意味のある結果を得るための適切な代替手段ですか？ ブートストラップされた標準誤差と信頼区間を使用した有意性検定は、依然として不均一分散で「機能」していますか？ 「はい」の場合、このシナリオで使用できる適用可能な信頼区間は何ですか（パーセンタイル、BC、BCA）。 最後に、このシナリオでブートストラップが適切な場合、この結論に到達するために読んで引用する必要がある関連文献は何でしょうか？ヒントは大歓迎です！

13 regression  bootstrap  least-squares  heteroscedasticity 

この質問に対する私のコンテキストは次のとおりです。私が知ることができることから、加重データとsurveyパッケージを使用する場合、Rで通常の最小二乗回帰を実行することはできません。ここではsvyglm()、代わりに一般化線形モデルを実行するを使用する必要があります（これは同じものかもしれません。ここでは、何が違うのかという点であいまいです）。 OLS lm()では、関数を使用してRの2乗値を計算しますが、その解釈は理解できます。しかし、svyglm()これを計算していないようで、代わりに偏差を与えます。これは、インターネットを巡回する短い旅行で、Rの2乗とは異なる解釈の適合度の尺度であるとわかります。 だから私は基本的に、何らかの方向性を得ることを望んでいた2つの質問があると思います： surveyパッケージでOLSを実行できないのはなぜですか。これは、Stataで重み付けされたデータを使用して実行できるように思われますか？ 一般化線形モデルの逸脱とr二乗値の解釈の違いは何ですか？

13 r  generalized-linear-model  least-squares  r-squared  deviance 

このトピックは、例えばhereの前に何度も出てきましたが、回帰出力をどのように解釈するのが最善かはまだわかりません。 x値の列とy値の列で構成される非常に単純なデータセットがあり、場所（loc）に従って2つのグループに分割されています。ポイントはこんな感じ 同僚は、各グループに個別の単純な線形回帰を当てはめる必要があると仮定しましたy ~ x * C(loc)。出力を以下に示します。 OLS Regression Results ============================================================================== Dep. Variable: y R-squared: 0.873 Model: OLS Adj. R-squared: 0.866 Method: Least Squares F-statistic: 139.2 Date: Mon, 13 Jun 2016 Prob (F-statistic): 3.05e-27 Time: 14:18:50 Log-Likelihood: -27.981 No. Observations: 65 AIC: 63.96 Df Residuals: 61 BIC: 72.66 Df Model: …

13 regression  p-value  least-squares  aic 

私は現在、データ工学の修士号を取得するために勉強しているビジネスと経済学を卒業しています。線形回帰（LR）を研究してから、時系列分析（TS）を研究しているときに、疑問が浮かびました。多重線形回帰を使用し、それにラグ変数を追加するのではなく、時系列（ARIMA）などのまったく新しいメソッドを作成する理由（ラグの順序はACFとPACFを使用して決定）？そこで、先生は私がこの問題について少しエッセイを書くことを提案しました。私は手ぶらで助けを求めに来ませんでしたので、私はこのトピックに関する研究を行いました。 LRを使用する場合、ガウスマルコフの仮定に違反すると、OLS回帰は正しくないこと、そしてこれは時系列データ（自己相関など）を使用するときに発生することを既に知っていました。（これに関する別の質問、GMの仮定の1つは、独立変数を正規分布させるべきか、それとも独立変数の条件付き従属変数だけかということです。） また、ここで提案している分散ラグ回帰を使用し、OLSを使用してパラメーターを推定すると、変数間の多重共線性が（明らかに）発生する可能性があるため、推定が間違っていることもわかっています。 でTSとLRについて同様のポストここで、@IrishStatは言いました： ...回帰モデルは、動的回帰モデルまたはXARMAXモデルとも呼ばれる伝達関数モデルの特定のケースです。際立ったポイントは、時系列でのモデルの識別、つまり、適切な違い、Xの適切なラグ、適切なARIMA構造、パルスなどの不特定の決定論的構造の適切な識別、レベルシフト、ローカル時間傾向、季節的パルス、および組み込みです。パラメータの変化またはエラー分散を考慮する必要があります。 （私はBox JenkinsとLRについてのAutoboxの彼の論文も読んでいます。）しかし、これでも私の疑問は解決しません（または、少なくとも私にとってRLとTSの異なるメカニズムを明確にしません）。 遅れた変数でもOLS問題が発生し、効率的でも正確でもないことは明らかですが、最尤法を使用する場合、これらの問題は持続しますか？ARIMAは最尤法で推定されることを読んだので、遅れのあるLRがOLSではなくMLで推定される場合、「正しい」係数が得られます（順序のMAのように、遅延誤差項も含めると仮定します） q）。 要するに、問題はOLSですか？MLを適用して問題は解決しましたか？

13 regression  time-series  multiple-regression  least-squares  arima 

Rのlm関数は、回帰係数の推定共分散を出力できます。この情報から何が得られますか？モデルをよりよく解釈したり、モデルに存在する可能性のある問題を診断したりできますか？

13 r  multiple-regression  least-squares