回帰モデルの定義と区切り

13

恥ずかしいほど単純な質問ですが、以前にクロス検証で質問されたことはないようです：

回帰モデルの定義は何ですか？

また、サポートの質問、

何でない回帰モデル？

後者に関しては、答えがすぐにはわからないトリッキーな例に興味があります。例えば、

潜在変数モデル（ARIMAやGARCHなど）はどうですか？

— リチャード・ハーディ
ソース

9

「回帰モデル」は一種のメタ概念であり、「回帰モデル」の定義は見当たりませんが、「線形回帰」、「非線形回帰」などのより具体的な概念は、「ロバスト回帰」など。これは数学と同じように、通常「数」ではなく「自然数」、「整数」、「実数」、「p進数」などを定義します。数字の中の四元数はそうです！本当に重要ではありません。重要なのは、あなたが現在読んでいる本/紙でどの定義が使用されているかです。

定義はツールであり、本質主義であり、それが何の本質であるか、つまり言葉が本当に意味するものを議論することはほとんど価値がありません。

それでは、「回帰モデル」を他の種類の統計モデルと区別するものは何ですか？ほとんどの場合、予測変数のセットに影響される（または決定される）ようにモデル化する応答変数があります。他の方向への影響には関心がなく、予測変数間の関係には関心がありません。ほとんどの場合、予測変数を与えられたとおりに取り、それらを確率変数としてではなく、モデル内の定数として扱います。

上記の関係は、線形または非線形、パラメトリックまたはノンパラメトリックな方法などで指定できます。

他のモデルから線引きするために、予測変数の測定誤差の可能性を受け入れるとき、「変数の誤差」のような「回帰モデル」とは異なる何かを示すためにしばしば取られるいくつかの他の言葉をよく見る必要があります。これは、上記の「回帰モデル」の説明に含めることができますが、多くの場合、代替モデルと見なされます。

また、意味はフィールドごとに異なる場合があります。リグレッサの条件付けと固定としての扱いの違いは何ですか？を参照してください。

繰り返しますが、重要なのは、現在読んでいる著者が使用している定義であり、「本当に」何であるかについての形而上学ではありません。

— kjetil b halvorsen
ソース

1

あなたの答えの本質に同意します。私の質問の動機は、回帰モデルについてのステートメントに出会ったことで、そのステートメントが実際に適用されるもの（および適用されないもの）を疑問に思いました。もちろん、今は「最善の判断をして詳細を慎重に確認する」と言うこともできますが、一般的に真実ではないという仮説をすぐに拒否したい場合があります（おそらく非常に特定の場合にのみ真実です）。次に、参照する定義が必要です。もちろん、より正確な定義が役立つような状況は他にもあります。

— リチャードハーディ

それから、あなたはあなたが遭遇したそれらの使用について、参考文献とともに特定の質問をします。

— kjetil bハルヴォルセン

2

好き嫌いをするつもりはありませんが、考えてみてください。誰かがあなたに何をしているのか尋ねてきて、「回帰モデルを使って[何か]を分析/予測/テストしています」と言うでしょう。-「回帰モデルとは？」-（沈黙）。または入門計量経済学のクラスの状況：「教授、何で？回帰モデル」-（回答なし）。これらは非常に自然な質問だと思うので、答えがあればいいと思います。

— リチャードハーディ

1

はい、答えがあればいいのですが、すべてが同意できる標準的な答えがあるかどうかはわかりません。Seberのような統計の本からは、計量経済学のテキストからのように、「線形回帰分析」とは非常に異なる回帰のアイデアを得ました。しかし、いくつかのアイデアはすべて同意することができます。本当にモデルのファミリーだと思います。次に、このすべてのモデルの共通の核心は何かを尋ねることができます。

— kjetil bハルヴォルセン

7

すでに2つの良い答えが出ていますが、2セントを加算したいと思います。

回帰の場合、いくつかのランダム変数およびます。変数には未知の分布と複雑な共分散構造があります。この問題を単純化して、条件付き分布のみ、またはより正確には他の変数が与えられた条件付き期待に焦点を合わせます。単純化する $Y$ $X_1,\dots,X_k$ $Y$

μ = E (y | x_{1}, \dots, x_{k}) = f (x_{1}, \dots, x_{k})

$\mu = E(y|x_1,\dots,x_k) = f(x_1,\dots,x_k)$

どこ $f$ $\mu$ $\mu$ $L_1$ $\mu$

$Y$

— ティム
ソース

ありがとう。私は私に尋ねた誰かに投げることができるより正式な定義を探していますが、直感は傷つきません。その後、詳細を選択しようとしました。

— リチャードハーディ

@RichardHardyこれは、すべての人が共有する回帰モデルの重要な機能だと思います。

— ティム

3

この答えは正しく有用なアプローチだと思いますが、一般的に「回帰」と考えられる状況（GLM、乗法誤差、変換された応答による回帰、変位値回帰など）に適用できるように、一般化する必要があります。より一般的には、回帰モデルは応答分布全体の 1つ以上のプロパティを指定します

y

$y$ は、リグレッサの値（ランダムまたは固定の特定の範囲内）で。特に、単に期待値を指定したり、加法的エラーを仮定したりするだけではありません。

— whuber

2

文献に基づくいくつかの考え：

F. Hayashiは、古典的な大学院の教科書「Econometrics」（2000年）の第1章で、次の仮定が古典的な線形回帰モデルを構成すると述べています。

直線性
厳密な外因性
多重共線性なし
球面誤差分散
「固定」回帰子

彼の古典的な導入計量経済学の教科書の第2章でWooldridge 「Introductory Econometrics：A Modern Approach」（2012）の、次の方程式が単純な線形回帰モデルを定義すると述べています。

y = β_{0} + β_{1} x + u .

$y=\beta_0+\beta_1 x+u.$

人気の計量経済学の教科書「計量経済分析」（2011年）の第2章のグリーン

古典的な線形回帰モデルは、基礎となる「データ生成プロセス」によってデータセットがどのように生成されるかについての一連の仮定で構成されます。

そしてその後、林の仮定と同様の仮定のリストを与える。

OPの最後の箇条書きに関連する好奇心：Bollerslev 「一般化された自己回帰条件付き不均一分散」（1986）には、セクション5のタイトルとそのセクションの最初の文に「GARCH回帰モデル」というフレーズが含まれています。そのため、GARCHモデルの父は、GARCHを回帰モデルと呼ぶことを気にしませんでした。

— リチャード・ハーディ
ソース

1

Y \approx f (X, β)

$Y\approx f(X, \beta)$ 。

— -hejseb

確かに、私の例は線形回帰モデルです。それは、広く使用され、古典的になったこれらの教科書などの信頼できる情報源で見つけることができたものです。私はウィキペディアを統計的および計量経済学的な質問に関してそれほど信用していません。とにかく、ウィキペディアでも、教科書から引用したものに類似した「基礎となる仮定」という章があります。他の投稿については、コメントの関連部分をそこに投稿して、そこに返信してもらえますか？この投稿では、潜在変数モデルについては何も言いませんでしたが、意見を聞いてうれしいです。

— リチャードハーディ

3

なぜポイント3、「多重共線性なし」ですか？私は、それが何らかの結果の証拠の仮定として使用されるのを見たことがありません！

— kjetil bハルヴォルセン

1

@kjetilbhalvorsen、著者ではない教科書に書かれていることについて責任を負わないでください。しかし、もちろんコメントに感謝し、答えにさらに感謝します！

— リチャードハーディ