2つの線形回帰モデルがある場合、どちらのモデルのほうがパフォーマンスが向上しますか？

私は大学で機械学習コースを始めました。クイズの1つで、この質問が尋ねられました。

モデル1：

$$y = \theta x + \epsilon$$ モデル2： $$y = \theta x + \theta^2 x + \epsilon$$

上記のモデルのどれがデータによりよく適合しますか？（線形回帰を使用してデータをモデル化できると仮定）

（教授によると）正しい答えは、両方のモデルが同等にうまく機能するということです。ただし、最初のモデルの方が適していると思います。

これが私の答えの背後にある理由です。以下のように書き換えることができる第2のモデル、$\alpha x + \epsilon$、$\alpha = \theta + \theta^2$第一のモデルと同じではないであろう。$\alpha$実際に放物線であるため、最小値を有する（$-0.25$この場合は）。このため、最初のモデルの$\theta$の範囲は、2番目のモデルのの範囲よりも大きくなっています$\alpha$。したがって、データがそのようなもので、最適な近似の勾配が-$-0.25$、第2のモデルは、最初の1に比べて非常にうまく機能しないでしょう。ただし、ベストフィットの勾配が$-0.25$、両方のモデルのパフォーマンスは同等です。

最初の方が良いのですか、それともまったく同じですか？

：モデル2のように書くことができる。 これは、ハイパーパラメーター（θ 、β）の表記が異なるだけで、モデル1に似ているようです。しかし、モデル1のために、私たちは書くことができθ = （

$$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$$ $\theta, \beta$
$$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$$

しかし、モデル2に、我々はそれを持っているので、 あなたが実際に述べたように範囲βはに属している必要があります[ - 0.25 、

$$\beta=\theta + \theta^{2},$$ $\hat{\beta}$のための θ ∈ R。これにより、これら2つのモデルに違いが生じます。$[-0.25,+\infty]$$\theta \in R$

従って、モデル2には、モデル1とは異なり、あなたの係数の推定値を制約していることは、モデル1にことに留意すべきである、これはより明確にするために、θは、正方形の損失関数最小化することによって得られる θ = argの分θ ∈ R（Yを- X θ $\hat{\theta}$ しかし、モデル2で推定を介して取得された β =引数分β ≥ - 0.25（Y-Xのβ

$$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$$ 異なる結果をもたらすかもしれません。 $$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$$

私はあなたの推論を理解しているかどうかわかりません。あなたが取る場合：

$$y = \alpha x+\epsilon$$ $$y = \theta x + \epsilon$$

$\alpha$$\theta$$\alpha$$\theta$$R^2$$\theta$$\alpha = \theta + \theta^2$