「線形」回帰と「非線形」回帰を区別することが重要なのはなぜですか？

12

線形モデルと非線形モデルの区別の重要性は何ですか？非線形モデルと一般化線形モデルの質問：ロジスティック、ポアソンなどの回帰をどのように参照しますか？そしてその答えは、一般化線形モデルの線形性/非線形性の非常に役立つ説明でした。線形モデルと非線形モデルを区別することは非常に重要であるように思えますが、その理由は明確ではありません。たとえば、次の回帰モデルを検討してください。

\begin{aligned} (1) & E [Y ∣ X] & = β_{0} + β_{1} X \\ (2) & E [Y ∣ X] & = β_{0} + β_{1} X + β_{2} X^{2} \\ (3) & E [Y ∣ X] & = β_{0} + β_{1}^{2} X \\ (4) & E [Y ∣ X] & = {1 + \exp (- [β_{0} + β_{1} X]}^{- 1} \end{aligned}

$\begin{align} E[Y \mid X] & = \beta_0 + \beta_1 X \tag{1} \\ E[Y \mid X] & = \beta_0 + \beta_1 X + \beta_2 X^2 \tag{2} \\ E[Y \mid X] & = \beta_0 + \beta_1^2 X \tag{3} \\ E[Y \mid X] & = \{1+\exp(-[ \beta_0 + \beta_1 X]\}^{-1} \tag{4} \end{align}$

モデル1と2はともに線形であり、の解は閉じた形で存在し、標準のOLS推定器を使用して簡単に見つけることができます。されないため（の一部）の誘導体が非線形であるモデル3及び4について WRT 依然としての関数です。 $\beta$ $E[Y\mid X]$ $\beta$ $\beta$

推定する一つの簡単な解決策モデル3には、設定により、モデルを線形化することである、推定線形モデルを用いて、その後計算 $\beta_1$ $\gamma = \beta_1^2$ $\gamma$ 。 $\beta_1 = \sqrt{\gamma}$

モデル4のパラメーターを推定するには、が二項分布（指数族のメンバー）に従うと仮定し、モデルのロジスティック形式が正準リンクであるという事実を使用して、モデルのrhsを線形化します。これはネルダーとウェッダーバーンの独創的な貢献でした。 $Y$

しかし、そもそもなぜこの非線形性が問題なのでしょうか？単純に反復アルゴリズムを使用して平方根関数を使用して線形化せずにモデル3、またはGLMを呼び出さずにモデル4を解決できないのはなぜですか。広範囲にわたる計算能力の前に、統計学者はすべてを線形化しようとしていたのではないかと思います。もし本当なら、おそらく非線形性によってもたらされる「問題」は過去の名残なのでしょうか？非線形モデルによってもたらされる複雑さは単なる計算上のものですか、それとも非線形モデルを線形モデルよりもデータに適合させるのがより困難になる他の理論的な問題がありますか？

linear-model nonlinear-regression nonlinear

— user1849779
ソース

1

あなたは推定したい場合は

、単に推定

（単純な線形回帰）、次に取る

E [Y | X] = β_{0} + β_{1}^{2} X

$E[Y|X] = \beta_0 + \beta_1^2 X$

E [Y | X] = β_{0} + γ X

$E[Y|X] = \beta_0 + \gamma X$

...

β_{1} = \sqrt{γ}

$\beta_1 = \sqrt{\gamma}$

— ティム

@ティム、コメントをありがとう。私はこの変化を可能性として認識していましたが、やや異なる質問をしようとしていました。私は質問を大幅に編集しました。

— user1849779

5

主に2つの違いがあります。

直線性により、シンプルで堅牢になります。たとえば、（線形）OLSは、未知の外乱分布下の不偏推定量です。一般に、GLMおよび非線形モデルはそうではありません。OLSはさまざまなエラー構造モデル（ランダム効果、クラスタリングなど）に対しても堅牢です。非線形モデルでは、通常、これらの項の正確な分布を仮定する必要があります。
それを解くのは簡単です：数回の行列乗算+ 1の逆数。これは、目的関数がほぼ平坦（多重共線性）の場合でも、ほぼ常に解決できることを意味します。このような問題のあるケースでは、反復法が収束しない場合があります（ある意味、良いことです）。最近では問題になりません。コンピューターは速くなりますが、データは大きくなります。1G観測でロジット回帰を実行しようとしたことがありますか？

それに加えて、線形モデルは解釈が容易です。線形モデルでは、係数に等しい限界効果はX値から独立しています（ただし、多項式の項はこの単純さを台無しにします）。

— オット・トゥーメット
ソース

主に利便性または歴史的な使用法の1つとしての区別。

— マーサ

2

生物学（およびその他の分野）の多くのモデルは非線形であるため、非線形回帰に最適です。もちろん、数学は非常に異なります。しかし、データアナリストの観点から見ると、実際に重要な違いは1つだけです。

非線形回帰では、各パラメーターの初期推定値が必要です。これらの初期推定値がかなり外れている場合、非線形回帰プログラムは誤った最小値に収束し、無用または誤解を招く結果をもたらす可能性があります。

— ハーベイ・モトゥルスキー
ソース

2

これは確かに答えの一部です。しかし、わずかな専門性に相当するものだけが違いであると主張することで、非線形モデルの問題を過度に最小限に抑えることができます。たとえば、生物学で発生するいくつかの単純なものは、急激に異なるローカルミニマムを持つことができ、それらはすべてグローバルミニマムに近いものです。この基本的な定性的問題は、計算能力の向上や最適化手法の改善によって解決されるものではありません。多くの非線形モデルの性質は線形モデルとは大きく異なるため、意味と解釈について深く考える必要があります。

— whuber

1

まず、「モデル」という言葉を「回帰」という言葉に置き換えます。どちらの言葉でも、モデルを定義する関連方程式は何か、従属変数の値と方程式/モデルによって予測される値に関連する関連仮説は何かを本当に求めていると思います。「モデル」という用語はより標準的なものだと思います。同意する場合は、読み進めてください。

$\phi_1, \ldots, \phi_n$ $\phi_1, \ldots, \phi_n$ $\phi_i = x^i$ $\epsilon_i = y_i - \sum a_{ij}x^j$ ガウスです。イムホ、ウィキペディアには一般的な線形モデルの非常に合理的な説明があると思います。これが重要な文章だと思います-「GLMは、リンク関数を介して線形モデルを応答変数に関連付け、各測定の分散の大きさをその予測値の関数にすることにより、線形回帰を一般化します。」したがって、glmではより一般的なエラー用語を使用できます。これにより、モデリングの柔軟性が高まります。価格？正しいモデルを計算するのは難しいです。係数を計算する簡単な方法はもうありません。線形回帰の係数は、一意の最小値を持つ2次関数を最小化することで見つけることができます。Boratの言葉では、glmについてはそれほどではありません。mleを計算する必要があります。

— め
ソース

1

非線形モデルは、残差がガウス分布からサンプリングされると仮定することもできます。簡単な例は、基質濃度（X）の関数としての酵素活性（Y）です。Y = Vmax * X /（Km + X）残差がガウス分布であると仮定することは一般的で賢明ですが、これは非線形回帰に適合する非線形方程式です。

— ハーベイモトゥルスキー

2

非線形モデルはGLMよりもはるかに多くを構成します。GLMは、パラメーターが「ほぼ」線形であるため人気があります。すべての非線形性は、単一の変数「リンク」の関数に限定されます。これにより、比較的効率的で信頼性の高いソリューションが可能になります。他の非線形モデルは扱いにくいです。線形性の概念は、残差の性質とは大きく異なりますが、場合によっては、加法残差を他の形式の変動と区別することが有益です。

— whuber