絶対偏差の合計の最小化（

15

データセットあり、合計最小化するようなパラメーターを見つけたい $x_{1}, x_{2}, \ldots, x_{k}$ $m$

\sum_{i = 1}^{k} | m - x_{i} | .

$\sum_{i=1}^{k}\big|m-x_i\big|.$ あれは

min_{m} \sum_{i = 1}^{k} | m - x_{i} | .

$\min_{m}\sum_{i=1}^{k}\big|m-x_i\big|.$

optimization convex-optimization

— メイニュー
ソース

2

少し詳しく説明していただけますか？

— ジェフオックスベリー

その場合、解は最大値と最小値の中間点になりませんか？

— ポール

@ポール中央値は合計を最小化できますが、分析、特にl1最小化の方法を知りたい

— -mayenew

@kaduそうです、中央値が解決策です。分析的に中央値を計算するのは簡単です。並べ替えてから、中間値を取ります。

— デビッドケッチャソン

22

おそらく、中央値が問題を解決するという証拠を求めますか？さて、これは次のように行うことができます：

目的は区分的に線形であるため、点を除いて微分可能です。対物レンズの勾配は、ある点ですか？まあ、斜面は、マッピングの斜面の和であるそして、これは（場合）ですよりも小さいおよび大きいが同数存在する場合、傾きはゼロであることがわかります（ $m=x_i$ $m\neq x_i$ $m\mapsto |m-x_j|$ $+1$ ）または（）のいずれかです。したがって、勾配は、がより小さい数を示します $m>x_j$ $-1$ $m<x_j$ $x_i$ $m$ $x_i$ $m$ ます。奇数個存在する場合の次に傾きがある『middlest』一および左、それの権利は、それゆえmiddlest一つは最小です。 $x_i$ $x_i$ $-1$ $+1$

— ダーク
ソース

16

この問題を複数の次元に一般化したものは、幾何学的中央値問題と呼ばれます。Davidが指摘しているように、中央値は1次元の場合の解決策です。そこでは、ソートよりも効率的な中央値検出選択アルゴリズムを使用できます。ソートは、選択アルゴリズムはです。ソートは、複数の選択が必要な場合にのみ効率的です。その場合、一度（一度だけ）ソートしてから、ソートされたリストから繰り返し選択できます。 $O(n\log n)$ $O(n)$

幾何学的中央値問題へのリンクは、多次元の場合の解決策に言及しています。

— ジェフ・オックスベリー
ソース

6

中央値の観点からの明示的な解決策は正しいですが、mayenewのコメントに応じて、別のアプローチがあります。

これは、ことはよく知られている一般的に最小化問題、特に掲示問題は、線形計画法によって解くことができます。 $\ell^1$

次のLP定式化は、未知のを使用して所定の運動を行います。 $z_i,m$

ように：

m 私 n \sum z_{私}

$min \sum z_i$

z_{私} \geq m - {バツ}_{私}

$z_i \ge m - x_i$

z_{私} \geq {バツ}_{私} - m

$z_i \ge x_i - m$

明らかには等しくなければなりません $z_i$ 最低限、エラーの絶対値の合計を最小化するように求められます。 $|x_i - m|$

— ハードマス
ソース

2

これを示すための過剰な凸解析方法は、サブグラディエントを取るだけです。実際、これは、勾配に関する他の回答のいくつかで使用されている推論と同等です。

最適化問題は凸です（目的が凸であり、制約がないため）。また、の部分勾配は $\left|m-x_i\right|$

-1（場合 $m<x_i$

[-1,1] 場合 $m=x_i$

場合、+ 1 。 $m>x_i$

凸関数は、サブグラデーションにゼロが含まれる場合にのみ最小化され、凸関数の合計のサブグラデーションがサブグラデーションの（セット）合計であるため、が中央値の場合にのみ0がサブグラデーションに含まれます。 $m$ $x_1,\ldots x_k$

— cjordan1
ソース

0

\arg \underset{m}{分} \sum_{私 = 1}^{N} | m - {バツ}_{私} |

$\arg \min_{m} \sum_{i = 1}^{N} \left| m - {x}_{i} \right|$

$\frac{\mathrm{d} \left | x \right | }{\mathrm{d} x} = \operatorname{sign} \left( x \right)$ ${L}_{1}$
$\sum_{i = 1}^{N} \operatorname{sign} \left( m - {x}_{i} \right)$
$m = \operatorname{median} \left\{ {x}_{1}, {x}_{2}, \cdots, {x}_{N} \right\}$ 。

median個別のグループは一意に定義されていないことに注意してください。
さらに、必ずしもグループ内のアイテムではありません。

— ロイ
ソース