ラグと時系列のある多重線形回帰の「機械的な」違いは何ですか？

私は現在、データ工学の修士号を取得するために勉強しているビジネスと経済学を卒業しています。線形回帰（LR）を研究してから、時系列分析（TS）を研究しているときに、疑問が浮かびました。多重線形回帰を使用し、それにラグ変数を追加するのではなく、時系列（ARIMA）などのまったく新しいメソッドを作成する理由（ラグの順序はACFとPACFを使用して決定）？そこで、先生は私がこの問題について少しエッセイを書くことを提案しました。私は手ぶらで助けを求めに来ませんでしたので、私はこのトピックに関する研究を行いました。

LRを使用する場合、ガウスマルコフの仮定に違反すると、OLS回帰は正しくないこと、そしてこれは時系列データ（自己相関など）を使用するときに発生することを既に知っていました。（これに関する別の質問、GMの仮定の1つは、独立変数を正規分布させるべきか、それとも独立変数の条件付き従属変数だけかということです。）

また、ここで提案している分散ラグ回帰を使用し、OLSを使用してパラメーターを推定すると、変数間の多重共線性が（明らかに）発生する可能性があるため、推定が間違っていることもわかっています。

でTSとLRについて同様のポストここで、@IrishStatは言いました：

...回帰モデルは、動的回帰モデルまたはXARMAXモデルとも呼ばれる伝達関数モデルの特定のケースです。際立ったポイントは、時系列でのモデルの識別、つまり、適切な違い、Xの適切なラグ、適切なARIMA構造、パルスなどの不特定の決定論的構造の適切な識別、レベルシフト、ローカル時間傾向、季節的パルス、および組み込みです。パラメータの変化またはエラー分散を考慮する必要があります。

（私はBox JenkinsとLRについてのAutoboxの彼の論文も読んでいます。）しかし、これでも私の疑問は解決しません（または、少なくとも私にとってRLとTSの異なるメカニズムを明確にしません）。

遅れた変数でもOLS問題が発生し、効率的でも正確でもないことは明らかですが、最尤法を使用する場合、これらの問題は持続しますか？ARIMAは最尤法で推定されることを読んだので、遅れのあるLRがOLSではなくMLで推定される場合、「正しい」係数が得られます（順序のMAのように、遅延誤差項も含めると仮定します） q）。

要するに、問題はOLSですか？MLを適用して問題は解決しましたか？

多重線形回帰を使用し、それにラグ変数を追加するのではなく、時系列（ARIMA）などのまったく新しいメソッドを作成する理由（ラグの順序はACFとPACFを使用して決定）？

即時のポイントの1つは、線形回帰は観測された変数でのみ機能するのに対し、ARIMAは移動平均部分に観測されていない変数を組み込むことです。したがって、ARIMAはある意味でより柔軟性があり、より一般的です。ARモデルは線形回帰モデルと見なすことができ、その係数はOLSを使用して推定できます。β O L S = （X ' X ）- 1 X ' Y Xはれる従属変数のラグから成る観察。一方、MAまたはARMAモデルはOLSフレームワークに適合しません。これは、変数の一部、つまり遅延誤差項が観察されないためです。$\hat\beta_{OLS}=(X'X)^{-1}X'y$$X$、したがってOLS推定器は実行不可能です。

GMの前提の1つは、独立変数を正規分布させる必要があるということですか？または独立変数の条件付きの従属変数だけですか？

正規性の仮定は、独立変数ではなくモデルエラーに対して呼び出される場合があります。ただし、OLS推定器の一貫性と効率性、およびガウス-マルコフの定理が成立するためには、正規性は必要ありません。ガウス・マルコフの定理に関するウィキペディアの記事は、「エラーは正常である必要はない」と明示的に述べています。

変数間の多重共線性が（明らかに）発生する可能性があるため、推定が間違っています。

高度な多重共線性は、OLS推定量の分散が大きくなることを意味します。ただし、多重共線性が完全でない限り、OLS推定量は青のままです。したがって、あなたの声明は正しく見えません。

遅れた変数でもOLS問題が発生し、効率的でも正確でもないことは明らかですが、最尤法を使用する場合、これらの問題は持続しますか？

ARモデルは、OLSとMLの両方を使用して推定できます。これらの方法はどちらも一貫した推定量を提供します。MAおよびARMAモデルはOLSで推定できないため、MLが主な選択です。繰り返しますが、それは一貫しています。もう1つの興味深い特性は効率性であり、ここでは完全にはわかりません（ただし、質問はかなり標準的なため、情報はどこかで入手できるはずです）。「正しさ」についてコメントしてみますが、それがどういう意味かわかりません。

それは素晴らしい質問です。ARIMAモデルと多重線形回帰の本当の違いは、エラー構造にあります。@IrishStatが言っているように、時系列データに合うように、多重線形回帰モデルの独立変数を操作できます。ただし、その後は、正しい係数とテスト結果を取得するために、ARIMAエラーを重回帰モデルに組み込む必要があります。これに関するすばらしい無料の本はhttps://www.otexts.org/fpp/9/1です。ARIMAと多重回帰モデルの組み合わせについて説明するセクションをリンクしました。

良い質問です、私は実際に両方のデータサイエンティストとしての私の仕事で構築しています。時系列モデルは簡単に構築でき（Rの予測パッケージを使用すると、5秒以内に1つを構築できます）、回帰モデルと同じか、より正確です。通常、常に時系列を構築してから回帰します。時系列の哲学的な意味合いもあります。何も知らずに予測できる場合、それはどういう意味ですか？

ダーリントンに対する私の見解。1）「回帰は、はるかに柔軟で強力であり、より良いモデルを生成します。この点は、作業全体の多くの点で開発されています。」

いいえ、まったく逆です。回帰モデルは、時系列モデルよりもはるかに多くの仮定を行います。前提条件が少なければ少ないほど、地震に耐える能力（政権交代）が高くなります。さらに、時系列モデルは、突然のシフトにより速く応答します。

2）「少なくとも、他の分野での回帰の使用に精通している人にとっては、回帰はARIMAよりもはるかに簡単に習得できます。」 これは循環推論です。

3）「回帰は、可能な限り結果をもたらすことが本質的に保証される「閉じた」計算アルゴリズムを使用しますが、ARIMAおよび他の多くの方法は、解決に到達しないことが多い反復アルゴリズムを使用します。 「回帰法に問題のないデータについて」

回帰はあなたに答えを与えますが、それは正しい答えですか？線形回帰モデルと機械学習モデルを作成し、それらすべてが同じ結論に達した場合、それはどういう意味ですか？

つまり、要約すると、はい回帰と時系列の両方が同じ質問に答えることができ、技術的には、時系列は技術的には回帰です（ただし、自動回帰）。時系列モデルはそれほど複雑ではないため、回帰モデルよりも堅牢です。専門化について考える場合、TSモデルは予測に特化していますが、回帰は理解に特化しています。それは、あなたが説明したいか予測したいかに要約されます。

伝達関数と（通常の使用での）多重線形回帰の最も深い違いはその目的にあると考えて、多重回帰は従属変数の主な因果的観測可能な決定要因を見つけるように方向付けられていますが、伝達関数は従属変数に対する影響を予測したいだけです特定の外生変数の変動の変数...要約すると、重回帰は徹底的な説明と予測関数への伝達関数に向けられています...