線形回帰モデルと非線形回帰モデルの違いを見分ける方法は？

27

私は、非線形回帰SAS Non Linearに関する次のリンクを読んでいました。最初のセクション「非線形回帰と線形回帰」を読んで理解したことは、以下の式は実際には線形回帰であるということでした。それは正しいですか？もしそうなら、なぜですか？

y = b_{1} x^{3} + b_{2} x^{2} + b_{3} x + c

$y = b_1x^3 + b_2x^2 + b_3x + c$

非線形回帰では多重共線性は問題ではないことも理解できますか？私は、多重共線性が線形回帰の問題になる可能性があることを知っていますので、確かに上記のモデルが実際に線形回帰であれば、多重共線性があるでしょうか？

— mHelpMe
ソース

密接に関連：stats.stackexchange.com/questions/33876を。

— whuber

関連：「曲線」とはどういう意味ですか？

— gung-モニカの復職

35

回帰を「線形」と見なすことができる（少なくとも）3つの感覚があります。 それらを区別するために、非常に一般的な回帰モデルから始めましょう

Y = f (X, θ, ε) .

$Y = f(X,\theta,\varepsilon).$

議論を簡単にするために、独立変数を固定して正確に測定します（ランダム変数ではなく）。それらは、それぞれ属性の観測をモデル化し、応答ベクトルを生成します。従来、は行列、は列ベクトルとして表されます。（有限のベクトル）はパラメーターで構成されます。はベクトル値のランダム変数です。通常は $X$ $n$ $p$ $n$ $Y$ $X$ $n\times p$ $Y$ $n$ $q$ $\theta$ $\varepsilon$ $n$ コンポーネントが、時には少ないです。関数はベクトル値（に一致するコンポーネント）であり、通常、最後の2つの引数（および）が連続していると見なされます。 $f$ $n$ $Y$ $\theta$ $\varepsilon$

ラインをデータに適合させる典型的な例は、が数値のベクトル $(x,y)$ $X$ --the x値。は、数値並列ベクトルです。は、切片と勾配ます。そして $(x_i,\,i=1,2,\ldots,n)$ $Y$ $n$ $(y_i)$ $\theta = (\alpha,\beta)$ $\alpha$ $\beta$ $\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$ は、その成分が独立している（通常、平均ゼロの同一であるが未知の分布を持っていると想定される）「ランダムエラー」のベクトルです。前の表記では、

y_{i} = α + β x_{i} + ε_{i} = f (X, θ, ε)_{i}

$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$

。 $\theta = (\alpha,\beta)$

回帰関数は、3つの引数のいずれか（またはすべて）で線形になります。

「線形回帰、又は『線形モデルは、』通常ことを意味の関数として線形であるパラメータが。の意味SAS 『非線形回帰』が付け加え仮定し、この意味であり 2番目の引数で微分可能です（パラメータ）：この仮定により、解決策を見つけやすくなります。 $f$ $\theta$ $f$
「と間の線形関係」は、が関数として線形であることを意味します。 $X$ $Y$ $f$ $X$
がで線形である場合、モデルには付加誤差があります。そのような場合、と常に仮定され。（そうでなければ、を「エラー」または「正しい」値からの「偏差」と考えるのは正しくありません。） $f$ $\varepsilon$ $\mathbb{E}(\varepsilon) = 0$ $\varepsilon$

これらの特性のあらゆる可能な組み合わせが発生し、有用です。 可能性を調査しましょう。

加法的誤差を伴う線形関係の線形モデル。 これは通常の（多重）回帰であり、既に上記で示されており、より一般的には

$Y = X θ + ε .$ $Y = X\theta + \varepsilon.$
は、必要に応じて、定数の列に隣接することにより拡張され、はベクトルです。 $X$ $\theta$ $p$
加法的誤差を伴う非線形関係の線形モデル。 これは、の列に自体の非線形関数を追加することにより、重回帰として扱うことができます。例えば、 $X$ $X$

$y_{i} = α + β x_{i}^{2} + ε$ $y_i = \alpha + \beta x_i^2 + \varepsilon$
この形式です。線形です。相加的エラーがあります。また、は非線形関数であるにもかかわらず、値は線形です。 $\theta=(\alpha,\beta)$ $(1,x_i^2)$ $x_i^2$ $x_i$
非加法的エラーを伴う線形関係の線形モデル。 例は乗法エラーです。

$y_{i} = (α + β x_{i}) ε_{i} .$ $y_i = (\alpha + \beta x_i)\varepsilon_i.$
（そのような場合にはの位置「乗法誤差」として解釈することができるあるただし、場所の適切なセンスが期待必ずしもない。もう：それは、中央値、またはかもしれません例えば、幾何平均。場所の仮定に関する同様のコメントは、必要な変更を加えて、他のすべての非加法的エラーのコンテキストにも適用されます $\varepsilon_i$ $\varepsilon_i$ $1$ $\mathbb{E}(\varepsilon_i)$
非加法性エラーを伴う非線形関係の線形モデル。 例えば、

$y_{私} = （ α + β {バツ}_{私}^{2} ） ε_{私} 。$ $y_i = (\alpha + \beta x_i^2)\varepsilon_i.$
加法的誤差を伴う線形関係の非線形モデル。 非線形モデルには、非線形であるだけでなく、パラメーターを再表現しても線形化できないパラメーターの組み合わせが含まれます。
- 非たとえば、考えます
  
  $y_{私} = α β + β^{2} {バツ}_{私} + ε_{私} 。$ $y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$
  定義することによって、及び、及び規制、このモデルを書き換えることができます。 $\alpha^\prime = \alpha\beta$ $\beta^\prime=\beta^2$ $\beta^\prime \ge 0$
  
  $y_{私} = α^{'} + β^{'} {バツ}_{私} + ε_{私} 、$ $y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$
  線形モデル（加法誤差との線形関係）としてそれを示す。
- たとえば、考えます
  
  $y_{私} = α + α^{2} {バツ}_{私} + ε_{私} 。$ $y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$
  新しいパラメータ見つけることは不可能であるに応じて、の機能としてこれを線形化することを、（線形でそれを維持しながら、良くとして）。 $\alpha^\prime$ $\alpha$ $\alpha^\prime$ $x_i$
加算誤差を伴う非線形関係の非線形モデル。

$y_{私} = α + α^{2} {バツ}_{私}^{2} + ε_{私} 。$ $y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$
非加法的誤差を伴う線形関係の非線形モデル。

$y_{私} = （ α + α^{2} {バツ}_{私} ） ε_{私} 。$ $y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$
非加法的誤差を伴う非線形関係の非線形モデル。

$y_{私} = （ α + α^{2} {バツ}_{私}^{2} ） ε_{私} 。$ $y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$

これらは8つの異なる回帰形式を示しますが、一部の形式は他の形式に変換できるため、分類システムを構成しません。標準的な例は、非加算的エラーを伴う線形モデルの変換です（積極的なサポートがあると仮定）

y_{私} = （ α + β {バツ}_{私} ） ε_{私}

$y_i = (\alpha + \beta x_i)\varepsilon_i$

対数を介して添加エラーの非線形な関係の線形モデルに、

ログ （ y_{私} ） = μ_{私} + ログ （ α + β {バツ}_{私} ） + （ ログ （ ε_{私} ） - μ_{私} ）

$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$

ここでは、ログ幾何平均の誤差項から削除されました（彼らは必要に応じて、ゼロの手段を持っていることを確認するため）、その値を推定する必要があります他の用語（に組み込ま）。確かに、従属変数を再表現する主な理由の1つは、加法誤差のあるモデルを作成することです。再式は、パラメーターと説明変数のいずれか（または両方）の関数としてを線形化することもできます。 $\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$ $Y$ $Y$

共線性

（の列ベクトルの）共線性は、あらゆる形式の回帰で問題になる可能性があります。これを理解する鍵は、共線性がパラメーターの推定に困難をもたらすことを認識することです。抽象的かつ非常に一般的に、2つのモデルと比較します。ここで、は1列がわずかに変更されたです。これにより推定値が大幅に変化する場合 $X$ $Y = f(X,\theta,\varepsilon)$ $Y=f(X^\prime,\theta,\varepsilon^\prime)$ $X^\prime$ $X$ と、そして、明らかに我々は問題を抱えています。この問題が発生する可能性のある1つの方法は、で線形の線形モデル（つまり、上記のタイプ（1）または（5））で、の成分がの列と1対1で対応する場合です。。1つの列が他の列の非自明な線形結合である場合、対応するパラメーターの推定値は、実数である可能性があります。それはそのような感度の極端な例です。 $\hat\theta$ $\hat\theta^\prime$ $X$ $\theta$ $X$