多項式機能を使用した線形回帰を曲線化するものは何ですか？

何が起こるかについての私の理解は次のとおりです。「2次元の問題」をとった場合、たとえば $X$ 入力として、Yを結果として、特徴を追加します。これにより、問題が追加され、値と値の線形フィットが線を定義し、と値の線形フィットと2本の線が最適な平面を定義します。これは正しいです？これはどのように2次元空間に変換されますか？これはどういうわけか曲がりくねったものとして二次元で現れますか？どうやって？ $x^2$ $x$ $y$ $x^2$ $y$

regression polynomial

— ユーザー412953
ソース

x^{2}

$x^2$ はによって決定されるため、追加の次元ではありません。次元は少なくともある程度独立している必要があります

x

$x$

— Aksakal

@Aksakalモデル行列の列空間の次元という意味では、

x^{2}

$x^2$ 通常、追加のディメンションが導入されます。これは、この質問を理解するための自然で便利な方法のようです。

— whuber

設計マトリックスの観点から考えている場合

X

$X$ 行としての観測値と列としての変数を持ち、

x^{2}

$x^2$ 独自の列があり、この点でディメンションが追加されます。たとえば、共分散行列

p \times p

$p\times p$ もう1つの次元になります。さらに、多くの場合、マトリックスはそのランクを保持します

p

$p$ にもかかわらず

x^{2}

$x^2$ 依存している

x

$x$ 、これは線形依存ではないためです。これが多項式回帰がしばしば機能する理由です。ただし、共線性や状態によっては失敗する場合があります。

— Aksakal

ただし、直交多項式の使用をお勧めします。単純な多項式の依存問題はありません

— Aksakal

直交多項式にはいくつかの実用的な利点がありますが、単純なものの代わりに直交多項式を使用しても結果は変わりません。つまり、推定された近似は同じです。これは、予測子が相関しているほとんどの多変量回帰問題と同じです。

— Pere

回答:

これは3Dの平面の一部です。

これは、座標が表示された同じ平面と、それに沿って選択された一連の点です $x$ 軸。

3番目の座標は、これらの正方形をプロットするために使用されます $x$ 値、座標ボックスのベースで放物線に沿ってポイントを生成します。

放物線を通る垂直の「カーテン」は、放物線の真上のすべての点で平面と交差します。この交点は曲線です。

多項式モデルは応答を仮定します $y$ （垂直方向にグラフ化）は、この平面の高さとはランダムに異なります。の値 $y$ これらに対応 $x$ 座標は赤い点で表示されます。

したがって、 $(x,y)$ 応答のモデルが最初に表示された平面に基づいている場合でも、点は直線ではなく曲線に沿って配置されます。

道徳の

説明変数が明らかに曲線上にある場合、応答も曲線上にあるように見えます。

— whuber
ソース

本当にありがとう、これはとても役に立ちました。

— user412953

単一の独立変数xと単一の従属変数yがある場合、これらの2つの変数間の関係が複雑であっても、「y = f（x）」は通常2次元と見なされます。仮説的な例として、実験モデルが「圧力= a *温度+ b * log（温度）-c *正弦（温度）」である場合、変数は温度と圧力の2つだけです。このため、このような関係は、平面上の曲線としてプロットできます。

モデルに「pressure = a * log（温度）-b * exp（altitude）」などの2つの独立変数がある場合、これは「z = f（x、y）」の形式で、3Dとしてプロットできます。表面。

— ジェームス・フィリップス
ソース