ラプラスエラーのある線形回帰

線形回帰モデルを考えます

y_{i} = x_{i} \cdot β + ε_{i}, i = 1, \dots, n,

$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$ ここで、

ε_{i} \sim L (0, b)

$\varepsilon _i \sim \mathcal L(0, b)$ 、つまり、

0

$0$ 平均と

b

$b$ スケールパラメーターを

ラプラス分布は、すべて相互に独立しています。未知のパラメーター

最尤推定を考えます

β

$\boldsymbol \beta$ ：

- \log p (y ∣ X, β, b) = n \log (2 b) + \frac{1}{b} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$ そこから

{\hat{β}}_{M L} = {\arg min}_{β \in R^{m}} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$

このモデルで残差の分布 $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ をどのように見つけることができますか？

regression laplace-distribution

— nmerci
ソース

残差の分布を見つけるとはどういう意味ですか？

— jlimahaverford

残差はランダムなベクトルにグループ化できるため、その分布を知りたいのですが。少なくとも最初の2つの瞬間。

— nmerci

了解、ありがとう！シミュレーションとプロットを検討しましたか？

— jlimahaverford

はい、残差の信頼領域を構築したいと思います。たとえば、ガウス誤差の場合、領域は楕円体です。

— nmerci

残差（実際にはエラーと呼ばれます）は、二重指数分布（ラプラス分布）でランダムに分布していると見なされます。このxとyのデータポイントをフィッティングする場合は、数値で行います。最初に、上記で投稿した式を使用して、これらのポイント全体のbeta-hat_MLを計算します。これにより、ポイントを通る線が決定されます。次に、そのx値でのラインのy値から各ポイントのy値を減算します。これはそのポイントの残差です。すべてのポイントの残差を使用して、残差の分布を示すヒストグラムを作成できます。

Yang（2014）による良い数学の記事があります。

-リー

— リーG
ソース

リンクが機能しない。

— Michael R. Chernick 2017年