OLSと非OLS回帰の間の残差の比較

線形モデルを推定したいとします：（応答の観測値と予測子） $n$ $p+1$

E (y_{i}) = β_{0} + \sum_{j = 1}^{p} β_{j} x_{i j}

$\mathbb{E}(y_i) = \beta_0 + \sum_{j=1}^p \beta_j x_{ij}$

これを行う1つの方法は、OLSソリューションを使用することです。つまり、二乗誤差の合計が最小になるように係数を選択します。

(β_{0}, β_{1}, \dots, β_{p})^{T} = \underset{β_{0}, β_{1}, \dots, β_{p}}{\arg min} \sum_{i = 1}^{n} {(y_{i} - β_{0} - \sum_{j = 1}^{p} β_{j} x_{i j})}^{2}

$(\beta_0,\beta_1,\cdots,\beta_p)^T = \underset{\beta_0,\beta_1,\cdots,\beta_p}{\arg \min} \sum_{i=1}^{n} \left( y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij} \right)^2$

または、絶対偏差の合計など、別の損失関数を使用して、次のようにすることもできます。

(β_{0}, β_{1}, \dots, β_{p})^{T} = \underset{β_{0}, β_{1}, \dots, β_{p}}{\arg min} \sum_{i = 1}^{n} | y_{i} - β_{0} - \sum_{j = 1}^{p} β_{j} x_{i j} |

$(\beta_0,\beta_1,\cdots,\beta_p)^T = \underset{\beta_0,\beta_1,\cdots,\beta_p}{\arg \min} \sum_{i=1}^{n} \left| y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij} \right|$

2つのモデルのパラメーターが見つかり、損失関数の値が最小のモデルを選択するとします。一般的に、損失関数によって達成される最小値をどのように比較できますか？（つまり、この特定のケースだけではなく、他の $L_p$ ベースの損失関数も試すことができます）関数のスケールには違いがあるようです。一方は正方形を扱い、もう一方はそうではありません。

regression loss-functions

— Comp_Warrior
ソース

まあ、マルコフの仮定は、最初の方程式が青、または最高の線形不偏推定量であることを示します。この場合、「最良」は、考えられるすべての推定量の標準誤差が最小になるように決定されます。それは十分な統計ではありませんか？

— gregmacfarlane 2014

なおなど

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2}

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2$

\underset{β_{0}, β_{1}, \dots, β_{p}}{\arg min} \sqrt{\sum_{i = 1}^{n} {(y_{i} - β_{0} - \sum_{j = 1}^{p} β_{j} x_{i j})}^{2}} \leq \underset{β_{0}, β_{1}, \dots, β_{p}}{\arg min} \sum_{i = 1}^{n} | y_{i} - β_{0} - \sum_{j = 1}^{p} β_{j} x_{i j} | \leq \sqrt{(} n) \underset{β_{0}, β_{1}, \dots, β_{p}}{\arg min} \sqrt{\sum_{i = 1}^{n} {(y_{i} - β_{0} - \sum_{j = 1}^{p} β_{j} x_{i j})}^{2}}

$\underset{\beta_0,\beta_1,\cdots,\beta_p}{\arg \min} \sqrt{\sum_{i=1}^{n} \left( y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij} \right)^2} \leq \underset{\beta_0,\beta_1,\cdots,\beta_p}{\arg \min} \sum_{i=1}^{n} \left| y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij} \right| \leq \sqrt(n) \underset{\beta_0,\beta_1,\cdots,\beta_p}{\arg \min} \sqrt{\sum_{i=1}^{n} \left( y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij} \right)^2}$

— マヌエル

@gmacfarlaneここでは、パラメーター推定の標準誤差ではなく、損失関数の最小値に関して「最良」を定義したいと思います。（好奇心から

— 脱出

2つの異なる損失関数からの近似は、異なる質問に対する答えであるため、比較できないと思います。与えられた損失関数があなたの状況に適切であると決定すると、適合はその決定から続きます。これを循環させることなく、損失関数の選択を検証するために折り返すことはできません。両方の損失関数が包含されると理解できる他の基準がある場合は、それを使用できますが、事前に定義しておく必要があります。

— ガン-モニカを元に戻す

期待値のモデルが正しく、サンプルサイズが十分に大きいため両方の推定値が実質的に母集団の値であった場合、質問は「平均偏差を標準偏差と比較するにはどうすればよいですか」に効果的に変換されます。与えられた分布の仮定の下で、それらの予想サイズを比較できますが、もちろん、小さなサンプルでは推定自体が異なります。

— Glen_b-モニカを復元する14

（私のコメントを回答に変換します。）

さまざまな質問に対する答えであるため、さまざまな損失関数からの近似を比較することはできないと思います。与えられた損失関数があなたの状況に適切であると決定すると、適合はその決定から続きます。これを循環させることなく、損失関数の選択を検証するために折り返すことはできません。両方の損失関数が包含されると理解できる他の基準がある場合は、それを使用できますが、事前に定義しておく必要があります。

— gung-モニカの回復
ソース