分位点回帰に対する線形回帰の利点は何ですか？

線形回帰モデルがあること仮定の束になりクォンタイル回帰は、線形回帰の仮定が満たされた場合、ないとし、その後、私の直感（およびいくつかの非常に限られた経験が）中央値回帰は、線形回帰とほぼ同じ結果を与えるだろうということです。

それでは、線形回帰にはどのような利点がありますか？それは確かにより馴染みがありますが、それ以外は？

最小二乗残差を最小化することは、計算的に簡単であるという理由で、絶対残差を最小化することよりも好ましいと非常に頻繁に述べられています。しかし、それは他の理由でも良いかもしれません。つまり、場合の仮定が真である（これはそれほど珍しいことではありません）それは（平均で）より正確なソリューションを提供します。

最尤法

最小二乗回帰と変位値回帰（絶対残差を最小化することにより実行される場合）は、ガウス/ラプラス分布誤差の尤度関数を最大化するものと見ることができ、この意味で非常に関連しています。

• ガウス分布：

  $$f(x) = \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

  二乗残差の合計を最小化するときに対数尤度が最大化される

  $$\log \mathcal{L}(x) = -\frac{n}{2} \log (2 \pi) - n \log(\sigma) - \frac{1}{2\sigma^2} \underbrace{\sum_{i=1}^n (x_i-\mu)^2}_{\text{sum of squared residuals}}$$

• ラプラス分布：

  $$f(x) = \frac{1}{2b} e^{-\frac{\vert x-\mu \vert}{b}}$$

  絶対残差の合計を最小化するときに対数尤度が最大化される

  $$\log \mathcal{L}(x) = -n \log (2) - n \log(b) - \frac{1}{b} \underbrace{\sum_{i=1}^n |x_i-\mu|}_{\text{sum of absolute residuals}}$$

^{注：ラプラス分布と絶対残差の合計は中央値に関連していますが、負の残差と正の残差に異なる重みを与えることにより、他の分位数に一般化できます。}

既知のエラー分布

誤差分布がわかっている場合（仮定が正しいと思われる場合）、関連する尤度関数を選択することは理にかなっています。その機能を最小化することがより最適です。

多くの場合、エラーは（ほぼ）正規分布です。その場合、最小二乗を使用することが、パラメーター$\mu$（平均と中央値の両方に関連する）を見つける最良の方法です。これは、サンプル分散が最小である（すべての不偏推定量の中で最も低い）ため、最良の方法です。または、より強く言うことができます：それは確率的に支配的である（サンプルの中央値とサンプルの平均の分布を比較するこの質問の図を参照）。

そのため、誤差が正規分布している場合、標本平均は、標本中央値よりも分布中央値の優れた推定量になります。最小二乗回帰は、分位数のより最適な推定量です。絶対残差の最小合計を使用するよりも優れています。

非常に多くの問題が通常の分散エラーを扱うため、最小二乗法の使用は非常に一般的です。他のタイプの分布を扱うには、一般化線形モデルを使用できます。また、GLMの解決に使用できる反復最小二乗法は、ラプラス分布（つまり、絶対偏差）でも機能します。これは、中央値（または一般化バージョンで他の分位数）を見つけることと同等です。

不明なエラー分布

堅牢性

中央値または他の変位値には、分布のタイプに関して非常に堅牢であるという利点があります。実際の値は重要ではなく、変位値は順序のみを考慮します。したがって、分布が何であっても、絶対残差を最小化することは（変位値を見つけることと同等です）非常にうまく機能しています。

ここでの質問は複雑で広範になり、分布関数についてどのような種類の知識を持っているか、または持っていないかに依存します。たとえば、分布はほぼ正規分布である場合がありますが、追加の外れ値がいくつかあります。これは、外側の値を削除することで対処できます。この極値の除去は、切り捨てられた平均が中央値よりも優れた推定量になる可能性があるコーシー分布の位置パラメーターを推定する際にも機能します。したがって、仮定が当てはまる理想的な状況だけでなく、いくつかの理想的でないアプリケーション（追加の外れ値など）に対しても、絶対残差の合計ではなく、何らかの形の二乗残差の合計を使用する堅牢な方法があります。

切り捨てられた残差を使用した回帰は、計算がはるかに複雑になると思います。そのため、実際には、計算的に単純である（通常の最小二乗よりも単純ではないが、切り捨てられた最小二乗よりも単純である）ために実行される回帰のタイプである分位点回帰である場合があります。

バイアス/バイアスなし

別の問題は、偏りのない推定器と偏りのない推定器です。上記では、平均の最尤推定、すなわち最小二乗解法を、すべての不偏推定量の最小の分散を持っていることが多いため、良いまたは好ましい推定量として説明しました（誤差が正規分布の場合）。ただし、偏りのある推定器の方が優れている可能性があります（予想される2乗誤差の合計が小さい）。

これにより、質問は再び広く複雑になります。多くの異なる推定量とそれらを適用する多くの異なる状況があります。適応された二乗残差損失関数の合計の使用は、多くの場合エラーを減らすためにうまく機能しますが（たとえば、あらゆる種類の正則化方法）、すべての場合にうまく機能する必要はありません。直観的には、二乗残差損失関数の合計がすべての不偏推定量に対してうまく機能することが多いため、最適なバイアス推定量はおそらく二乗残差損失関数の合計に近いものだと想像することは奇妙ではありません。

線形回帰（LR）は、係数の計算時に最小二乗最適化に要約されます。これは、回帰モデルからの偏差の対称性を意味します。変位値回帰（QR）の適切な説明はhttps://data.library.virginia.edu/getting-started-with-quantile-regression/にあります。

LRの仮定（推論に必要：p値、信頼区間など）が満たされている場合、QRとLRの予測は同様になります。ただし、前提条件に大きく違反している場合、標準のLR推論は間違っています。したがって、0.5分位（中央値）回帰はLRよりも有利です。また、他の変位値に回帰を提供する際の柔軟性が向上します。線形モデルの同等物は、LRから計算された信頼限界になります（ただし、iidが強く違反された場合、これは誤りになります）。

LRの利点は何ですか？もちろん、計算は簡単ですが、データセットが適切なサイズである場合、あまり目立たない可能性があります。しかし、もっと重要なことは、LR推論の仮定は、不確実性を下げる情報を提供します。その結果、通常、予測のLR信頼区間は狭くなります。そのため、仮定に対する強力な理論的サポートがある場合、信頼区間を狭くすることが有利になる場合があります。

線形回帰は、データが与えられた条件付き平均応答を推定するために使用されます、すなわち $E(Y \vert X)$ どこ $Y$ 応答であり、 $X$データです。回帰により、$E(Y \vert X)= X \beta$。推論が有効であるためには、特定の仮定があります（統計のテキストで見つけることができます）。これらが満たされている場合、一般的には$\beta$ BLUE（最良の線形不偏推定量-ガウス-マルコフの定理を参照）

分位点回帰は、中央値を含む条件付き分布の分位点を推定するために使用できます。これは、条件付き分布に関する平均よりも多くの情報を潜在的に提供します。条件付き分布が対称でない場合、またはテールが太い可能性がある場合（リスク分析など）、線形回帰のすべての仮定が満たされている場合でも、変位値回帰は役立ちます。

もちろん、線形回帰と比較して変位値推定を実行することは数値的にはより集中的ですが、一般にはるかに堅牢です（たとえば、外れ値に対する平均よりも中央値が堅牢であるように）。また、線形回帰が適切でない場合（打ち切りデータなど）に適しています。分散共分散行列の直接推定は困難であるか、計算コストが高くなる可能性があるため、推論は難しい場合があります。これらの場合、ブートストラップできます。