多項式回帰が多重線形回帰の特殊なケースと見なされるのはなぜですか？

38

多項式回帰が非線形関係をモデル化する場合、多重線形回帰の特殊なケースとはどのように考えられますか？

ウィキペディアは、「多項式回帰は非線形モデルをデータに適合させますが、統計的推定問題として線形ですが、推定される未知のパラメーターでは回帰関数は線形です。データから。」 $\mathbb{E}(y | x)$

パラメーターが次数 2の項の係数である場合、未知のパラメーターで多項式回帰はどのように線形になりますか？ $\ge$

— ギャビン
ソース

4

推定されるパラメータは、（マルチ）線形です。あなたがされた場合の推定指数の値を、推定問題は線形ではないでしょう。しかし、正確には2で、予測の修正その指数を二乗

— 復活モニカ

私の理解では、@ user777のコメントと以下の回答は、多項式回帰だけでなく、予測変数の全単射を使用する回帰にも適用されるということです。例えば、、などのような可逆関数（および、明らかに、2n乗は全単射ではないため、他の関数もあります）。

l o g (x)

$log(x)$

e^{x}

$e^x$

— naught101

みんな、ありがとう; 回答とコメントはすべて役に立ちました。

— gavinmh 14

53

などの回帰モデルを近似すると、モデルとOLS推定器はが単に、それは別の変数であると単に「考える」。もちろん、ある程度の共線性があり、それはフィットに組み込まれます（たとえば、標準誤差は他の場合よりも大きくなります）が、変数のペアの多くは、一方が他方の関数になることなく、ある程度共線性になります。 $\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$ $x^2_i$ $x_i$

は、最終的にと間の曲線関係をキャプチャするために変換して含めたと同じ変数であることがわかっているため、モデルに実際に2つの別個の変数があることを認識しません。と間に曲線関係があるという信念と相まって、真の性質に関する知識は、モデルの観点からまだ線形である方法を理解することを難しくしています。さらに、とを視覚化し $x^2_i$ $x_i$ $x_i$ $y_i$ $x^2_i$ $x_i$ $y_i$ $x_i$ $x^2_i$ 一緒に、2D平面への3D関数の周辺投影を見てください。 $x, y$

としかない場合は、完全な3D空間でそれらを視覚化してみることができます（実際に何が起こっているかを見るのはまだかなり難しいですが）。完全な3D空間で近似関数を見た場合、近似関数は2D平面であり、さらに平面であることがわかります。私が言うように、データはその3D空間を通る曲線に沿ってのみ存在するため、よく見るのは困難です（その事実はそれらの共線性の視覚的表現です）。ここでそれを試みることができます。これが適合モデルだと想像してください： $x_i$ $x^2_i$ $x_i, x^2_i$

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

ここに画像の説明を入力してください

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

ここに画像の説明を入力してください

これらの画像では、rglパッケージを使用して同じデータで作成された回転3Dフィギュアのスクリーンショットが見やすくなる場合があります。

ここに画像の説明を入力してください

「パラメーターが線形」であるモデルが実際に線形であると言うとき、これは単なる数学的so弁ではありません。変数は、フィッティングされにおける次元の超平面（この例では、3D空間における2D平面）次元超空間を。その超平面は本当に「平坦」/「線形」です。それは単なる隠phorではありません。 $p$ $p$ $p\!+\!1$

— gung-モニカの回復
ソース

17

したがって、一般的な線形モデルは、未知のパラメーターが線形の関数です。多項式回帰、たとえばは、関数として次ですが、係数、および線形です。より一般的には、一般的な線形モデルは、として表すことができ、ここでベクトル入力の任意の関数である -ことを確認間（任意の相互作用項を含むことができコンポーネント）など。 $y = a + bx + cx^2$ $x$ $a$ $b$ $c$ $y = \sum_{i=0}^N a_i h_i(x)$ $h_i$ $x$ $h_i$ $x$

— 女王バチ
ソース

14

モデル

y_{i} = b_{0} + b_{1} x_{i}^{n_{1}} + \dots + b_{p} x_{i}^{n_{p}} + ϵ_{i} .

$y_i = b_0+b_1 x^{n_1}_i + \cdots+ b_px^{n_p}_i + \epsilon_i.$

これは書き換え可能

y = X b + ϵ; X = (\begin{matrix} 1 & x_{1}^{n_{1}} & \dots & x_{1}^{n_{p}} \\ 1 & x_{2}^{n_{1}} & \dots & x_{2}^{n_{p}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n}^{n_{1}} & \dots & x_{n}^{n_{p}} \end{matrix}) .

$y = X b + \epsilon;\\ X= \begin{pmatrix} 1 & x_{1}^{n_1} & \cdots & x_{1}^{n_p} \\ 1 & x_{2}^{n_1} & \cdots & x_{2}^{n_p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n}^{n_1} & \cdots & x_{n}^{n_p} \\ \end{pmatrix}.$

— ムーキッド
ソース