線形回帰に関する最も一般的な誤解は何ですか？

他の研究者と協力して幅広い経験をお持ちの方にとって、あなたが遭遇する線形回帰についての最も一般的な誤解は何ですか？

よくある誤解を事前に考えて、

1. 人々の間違いを予測し、いくつかの誤解が間違っている理由を明確に説明できる

2. 自分でいくつかの誤解を抱いているかどうかを理解してください！

私が考えることができるいくつかの基本的なもの：

独立/従属変数は正規分布する必要があります

正確な解釈のために変数を標準化する必要があります

他のもの？

すべての回答は大歓迎です。

$\hat{\beta} \approx 0$

$Y \sim \beta_{0} + \beta_{X}X + \varepsilon$$Y \sim \beta_{0} + \beta_{X}X + \beta_{X^{2}}X^{2} + \varepsilon$$Y \sim \beta_{0} + \beta_{X}X + \beta_{X^{2}}X^{2} + \beta_{X^{3}}X^{3} + \varepsilon$

第三の偽の前提は、推定の数増やすことであるパラメータは必ずしも統計的検出力の損失をもたらします。真の関係が非線形であると（例えば、「壊れたスティック」機能を推定するために複数のパラメータを必要とするだけでなく、必要とするときにこれが偽であり、切片と傾きの直線の用語を、しかし必要との勾配変化点とどのくらいの斜面の変化 推定値も）：誤って指定されたモデル（例：直線）の残差は（適切に指定された関数関係に比べて）非常に大きくなる可能性があり、結果として棄却確率が低くなり、信頼区間と予測区間が広くなります（推定値にバイアスがかかる） 。

$y$$x$$x$

$x$$x$$y$$x$$x$

$x$

$y = X\beta + \varepsilon$$y$

（おそらく一般的な順序で、直交回帰、デミング回帰、合計最小二乗など、他の一般的な変数のエラーモデルにもリンクする必要があります。）

参照資料

• スミス、GD、フィリップス、AN（1996）。「疫学におけるインフレーション：「2つのものの間の関連性の証明と測定」再訪」。British Medical Journal、312（7047）、1659–1661。

• スピアマン、C。（1904）。「2つのものの間の関連性の証明と測定。」American Journal of Psychology 15：72–101。

$p$

重回帰に固有の誤解は次のとおりです。

1. $p$
2. $Y$$X$$X$$Y$$Z_1, \ldots, Z_5$$Z_6, \ldots, Z_{20}$

あなたが最初にリストしたものは、明らかに間違っていると思われるものの中でおそらく最も一般的であり、おそらく最も広く教えられているものだと思いますが、ここではいくつかの状況ではあまり明確ではないものがあります（実際に適用されるかどうか）が、さらに多くの分析に影響を与える可能性があり、おそらくより深刻です。これらは、回帰の主題が導入されたときに言及されないことがよくあります。

• おそらく代表に近くなり得ない観測の対象集団からのランダムサンプルとして扱う（ランダムサンプリングはもちろん）。[代わりに、便利なサンプルに近いものとしていくつかの研究を見ることができます]

• 観測データでは、処理の重要なドライバーを除外した結果を無視するだけで、含まれる変数の係数の推定値を確実にバイアスします（多くの場合、符号を変更する可能性もあります）。彼らと一緒に（問題の無知から、または単に何でもできることを知らないから）。[収集されるデータの種類のため、または一部のアプリケーション分野の人々が問題について教えられている可能性が高いために、一部の研究分野は他よりもこの問題を抱えています。]

• スプリアス回帰（主に経時的に収集されたデータを使用）。[人々がそれを知っているときでさえ、問題を完全に回避するためには、想定された静止と単純に区別するだけで十分であるという別の一般的な誤解があります。

もちろん、言及できる他の多くのものがあります（たとえば、ほぼ確実に連続的に相関する、または統合さえされる独立したデータとして扱うことは、ほぼ同じくらい一般的です）。

時間の経過とともに収集されたデータの観察研究は、これらのすべてに一度にヒットする可能性があることに気付くかもしれません...しかし、その種の研究は、回帰が標準ツールである多くの研究分野で非常に一般的です。1人のレビュアーまたは編集者が少なくとも1人について知らず、結論に少なくともある程度の免責事項を要求することなく、彼らがどのように出版物を入手できるかは、私を心配させ続けています。

統計には、かなり慎重に制御された実験（おそらくそれほど慎重に制御されていない分析と組み合わせた場合）を処理する場合、再現性のない結果の問題がたくさんあります。

私はおそらくこれらの誤解を呼ぶことはないでしょうが、おそらく混乱/ハングアップの共通点、そして場合によっては、研究者が気付いていないかもしれない問題です。

• 多重共線性（データポイントよりも多くの変数の場合を含む）
• 不均一分散
• 独立変数の値がノイズの影響を受けるかどうか
• スケーリング（またはスケーリングではない）が係数の解釈に与える影響
• 複数の被験者からのデータを処理する方法
• シリアル相関の処理方法（例：時系列）

物事の誤解について：

• $y = ax^2 + bx + c$$x$
• その「回帰」とは、通常の最小二乗または線形回帰を意味します
• 低/高の重みは、必然的に従属変数との弱い/強い関係を意味します
• 従属変数と独立変数の間の依存関係は、必ずペア依存関係に減らすことができます。
• トレーニングセットの適合度が高いということは、良いモデル（つまり、過剰適合を無視すること）を意味します

私の経験では、学生は2乗誤差（またはOLS回帰）が本質的に適切で、正確で、全体的に良いこと、または代替手段がないという見解をよく採用します。私は頻繁にOLSが「より極端な/逸脱した観測により大きな重みを与える」という発言とともに広告されていることをよく見ています。この概念は、外れ値と堅牢なアプローチの処理が導入されたときに、後で修正される可能性がありますが、その時点で損害が発生します。間違いなく、二乗誤差の広範な使用は、歴史的には、実際の誤差コストの自然法則よりも数学的な利便性に関係しています。

全体的に、エラー関数の選択はいくぶんarbitrary意的であるという理解をより重視することができます。理想的には、アルゴリズム内のペナルティの選択は、潜在的なエラーに関連する対応する実世界のコスト関数によって導かれる必要があります（つまり、意思決定フレームワークを使用）。最初にこの原則を確立してから、私たちができることを見てみませんか？

もう1つのよくある誤解は、誤差項（または計量経済学の用語の外乱）と残差が同じものであるということです。

誤差項は、真のモデルまたはデータ生成プロセスのランダム変数であり、特定の分布に従うと仮定されることがよくありますが、残差は、観測されたデータの適合モデルからの偏差です。そのため、残差は誤差の推定値と見なすことができます。

私が遭遇する最も一般的な誤解は、線形回帰がエラーの正常性を仮定しているということです。そうではありません。正規性は、線形回帰のいくつかの側面、たとえば係数の信頼限界などの小さなサンプルプロパティに関連して役立ちます。これらのことでも、非正規分布に利用可能な漸近値があります。

2番目に一般的なのは、フィードバックループに注意を払わないなど、内因性に関する混乱のクラスターです。YからXに戻るフィードバックループがある場合、それは問題です。

私が犯したエラーは、OLSでXとYの対称性を仮定することです。たとえば、線形関係を仮定すると

これは、OLSと総最小二乗または第1主成分の違いにも関係しているのかもしれません。

私がよく目にするのは、実際の特定のユースケースにおける線形回帰の適用可能性に関する誤解です。

たとえば、関心のある変数が何かのカウント（例：Webサイトの訪問者）または何かの比率（例：コンバージョン率）であるとしましょう。このような場合、ポアソン（カウント）、ベータ（ラティオス）などのリンク関数を使用して、変数をより適切にモデル化できます。したがって、より適切なリンク関数で一般化モデルを使用する方が適しています。しかし、変数がカテゴリカルではないという理由だけで、単純な線形回帰（リンク関数=アイデンティティ）で始まる人々を見てきました。精度への影響を無視しても、ここではモデリングの仮定が問題になります。

ここに、研究者がしばしば見過ごしていると思うものがあります：

• 可変的な相互作用：研究者は、しばしば個々の予測変数の孤立したベータに注目し、しばしば相互作用の用語さえ指定しません。しかし、現実の世界では物事は相互作用します。すべての可能な相互作用用語を適切に指定しないと、「予測者」がどのように連携して結果を形成するかわかりません。そして、勤勉ですべての相互作用を指定したい場合、予測子の数が爆発します。私の計算から、4つの変数と100人の被験者との相互作用のみを調査できます。もう1つ変数を追加すると、非常に簡単にオーバーフィットできます。

別の一般的な誤解は、推定値（適合値）が変換に対して不変ではないことです。たとえば、

$f(\cdot)$

$log(\cdot)$

これは、データのログ変換を行い、線形回帰を当てはめた後、当てはめられた値を指数化し、それを回帰として読み取るときに常に発生します。これは平均ではなく、これが中央値です（真に対数正規分布の場合）。