線形モデルと非線形モデルの区別

13

私は線形モデルと非線形モデルの特性に関するいくつかの説明を読みましたが、それでも手元のモデルが線形モデルであるか非線形モデルであるかがわからないことがあります。たとえば、次のモデルは線形ですか、それとも非線形ですか？

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

と：

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

ここで、は、次の形式の（減衰する）指数アルモン多項式関数を表し $b(k;\theta)$

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

私の見解では、この項には重みが乗算されているだけなので、メイン方程式（最初の方程式）はに対して線形です。しかし、私は、重み関数（最後の式は）パラメータに対して非線形であると言うでしょう ANS $X_t$ $\theta_1$ $\theta_2$ 。

私の主な機能が線形または非線形の場合、誰かが私に説明できますか？それは推定手順にとって何を意味しますか？線形または非線形最小二乗法を適用する必要がありますか？さらに、関数が非線形であるか線形であるかを明確に識別できる識別可能な特徴は何ですか？

linear-model nonlinear-regression nonlinear

— DatamineR
ソース

16

モデリングに関する線形および非線形の通常の定義では、重要な側面である予測子に関する線形性ではなく、パラメーターに関する線形性です。非線形モデルは、パラメーターが線形ではないため、非線形です。

たとえば、ここの最初の文は次のとおりです。

統計では、非線形回帰は回帰分析の形式であり、観測データは、モデルパラメーターの非線形の組み合わせであり、1つ以上の独立変数に依存する関数によってモデル化されます。

対照的に、一般化線形モデルは一般に応答と予測子の間に非線形の関係がありますが、リンク変換された平均応答（線形予測子、）はパラメーターが線形です。 $\eta$

[その定義によると、私は信じて、あなたのモデルが非線形である場合も、S その非線形性が推定に関連しないsが指定されている（知られています）。それらが適合している場合、モデルは非線形です。] $\theta$ $\theta$

— Glen_b -Reinstate Monica
ソース

9

Glen_bに同意します。回帰問題では、主な焦点はパラメーターにあり、独立変数または予測子xではありません。そして、単純な変換を使用して問題を線形化するか、そのまま続行するかを決定できます。

線形の問題は：あなたの問題ではパラメータの数をカウントし、それらのすべてが例えば、電源1を持っているかどうかをチェックし。この関数はで非線形です。ただし、回帰問題の場合、の非線形性は問題になりません。パラメータが線形か線形かを確認する必要があります。この場合、、、 $y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ $x$ $x$ $a$ $b$ $c$ 、.. $f$ すべてパワー1です。したがって、それらは線形です。

$y = \exp(ax)$ $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$

$y = a / (1+b \exp(cx)$ $a$ $b$ $c$ $b$ $c$ $(a/y)-1 = Y$ and then invoking a logarithmic function on both the sides to linearise.

Now suppose $y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$ . This is once again nonlinear with respect to the parameters. But, it cannot be linearised. One needs to use a nonlinear regression.

In principle, using a linear strategy to solve a nonlinear regression problem is not a good idea. So, tackle linear problems (when all the parameters have power 1) using linear regression and adopt nonlinear regression if your parameters are nonlinear.

In your case, substitute the weighting function back in the main function. The parameter $\beta_0$ would be the only parameter with power 1. All the other parameters are nonlinear ( $\beta_1$ eventually multiplies with $\theta_1$ and $\theta_2$ (these two are nonlinear parameters) making it also nonlinear. Therefore, it is a nonlinear regression problem.

Adopt a nonlinear least squares technique to solve it. Choose initial values cleverly and use a multistart approach to find the global minima.

This vide will be helpful (though it does not talk about global solution): http://www.youtube.com/watch?v=3Fd4ukzkxps

Using GRG nonlinear solver in the Excel spreadsheet (install the solver toolpack by going to options - Add-Ins - Excel Add-Ins and then choosing Solver Add-In)and invoking the multistart in the options list by prescribing intervals to the parameters and demanding the constraint precision and the convergence to be small, a global solution can be obtained.

If you are using Matlab, use the global optimisation toolbox. It has multistart and globalsearch options. Certain codes are available here for a global solution, here and here.

If you are using Mathematica, look here.

If you are using R, try here.

— Bipi
ソース

1

Thanks, @Bipi, for the examples! For your second one, if you set Y = (a/y - 1), how can you isolate the parameter from the variable y?

— Vivek Subramanian

0

The main function is linear.

It does not matter if nonlinear known functions==> $B(L;\theta)$ <== appear in the equations.

I would proceed with a linear least squares if I were you.

This is how you confirm or deny linearity:

https://en.wikipedia.org/wiki/Non-linear#Definition