パーセンタイル損失関数

11

問題の解決策：

min_{m} E [| m - X |]

$\min_{m} \; E[|m-X|]$

の中央値として知られていますが、 $X$ 他の百分位数の損失関数はどのように見えますか？例：Xの25パーセンタイルは、以下に対するソリューションです。

min_{m} E [L (m, X)]

$\min_{m} \; E[ L(m,X) ]$

この場合、 $L$ は何ですか？

expected-value loss-functions

— Cam.Davidson.Pilon
ソース

12

$I$ インジケーター関数にしましょう：真の引数の場合は $1$ 、それ以外の場合は $0$ です。ピック $0\lt\alpha\lt 1$ と組

Λ_{α} (x) = α x I (x \geq 0) - (1 - α) x I (x < 0) .

$\Lambda_\alpha(x)=\alpha x\, I(x\ge 0) - (1-\alpha)x\, I(x\lt 0).$

この図はプロットしています $\Lambda_{1/5}$ 。それはあなたが等しい斜面、ゲージを助けるために、正確なアスペクト比を使用しています $-4/5$ 左側と $+1/5$ 右側にします。この場合、 $0$ を超えるエクスカーションは、未満のエクスカーションと比較して大幅にダウンウェイトされます $0$ 。

これは、重みの値があるためしようとする本来の機能である超えているは異なるよりも未満です。関連する損失を計算し、それを最適化しましょう。 $x$ $0$ $x$ $0$

書き込みの分布関数のと設定、計算 $F$ $X$ $L_\alpha(m,x) = \Lambda_\alpha(x-m)$

\begin{aligned} E_{F} (L_{α} (m, X)) & = \int_{R} Λ_{α} (x - m) d F (x) \\ = α \int_{R} I (x \geq m) (x - m) d F (x) - (1 - α) \int_{R} (x - m) I (x < m) d F (x) \\ = α \int_{m}^{\infty} (x - m) d F (x) - (1 - α) \int_{- \infty}^{m} (x - m) d F (x) . \end{aligned}

$\eqalign{ \mathbb{E}_F(L_\alpha(m,X))&=\int_\mathbb{R} \Lambda_\alpha(x-m)dF(x)\\ &=\alpha\int_\mathbb{R} I(x\ge m)(x-m) dF(x) - (1-\alpha)\int_\mathbb{R} (x-m)I(x\lt m) dF(x)\\ &=\alpha\int_m^\infty(x-m)dF(x) - (1-\alpha)\int_{-\infty}^m(x-m) dF(x). }$

以下のように標準正規分布と、この図に変動、合計確率加重領域プロットされています。（曲線はのグラフです。）の右側のプロットは、正の値のダウンウェイトの影響を最も明確に示しています。原点について対称である。真ん中のプロットは、青インクの総量（）が可能な限り少ない最適値を示しています。 $m$ $F$ $\Lambda_{1/5}$ $\Lambda_{1/5}(x-m)dF(x)$ $m=0$ $\mathbb{E}_F(L_{1/5}(m,X))\$

この関数は微分可能であるため、臨界点を調べることによってその極値を見つけることができます。誘導体を得るために連鎖法則と微分積分学の基本定理を適用与えます $m$

\begin{aligned} \frac{\partial}{\partial m} E_{F} (L_{α} (m, X)) & = α (0 - \int_{m}^{\infty} d F (x)) - (1 - α) (0 - \int_{- \infty}^{m} d F (x)) \\ = F (m) - α . \end{aligned}

$\eqalign{ \frac{\partial}{\partial m}\mathbb{E}_F(L_\alpha(m,X))&=\alpha\left(0-\int_m^\infty dF(x)\right) - (1-\alpha)\left(0 - \int_{-\infty}^m dF(x)\right)\\ &= F(m) - \alpha. }$

連続分布の場合、これは常にソリューションを持ちます。これは、定義により、分位数です。非連続的な分布のために、このかもしれないが、溶液を有するが、少なくとも一つが存在することになるないれるのためのすべて及びに対するすべて：これも（定義により）分位数です。 $m$ $\alpha$ $X$ $m$ $F(x)-\alpha\lt 0$ $x\lt m$ $F(x)-\alpha\ge 0$ $x\ge m$ $\alpha$ $X$

最後に、とであるため、ももこの損失を最小化しないことは明らかです。これは重要なポイントの検査を使い果たし、であることを示しています。 $\alpha\ne 0$ $\alpha\ne 1$ $m\to-\infty$ $m\to\infty$ $\Lambda_\alpha$

特殊なケースとして、は、質問。 $\mathbb{E}_F(2L_{1/2}(m,X)) = \mathbb{E}_F\left(\left|m-x\right|\right)$

— whuber
ソース

予想される損失が正しいポイントによって最小化されることを示すためにあなたが費やした努力に感謝します。自分の答えを自分でどうしたらいいのかと思っていたのですが、あなたの説明はいいです。（+1）

m

$m$

2

あなたは写真が1000語の価値があることを証明しました。ありがとう@whuber =）

— Cam.Davidson.Pilon 2014年

8

この記事にはあなたの答えがあります。具体的には、損失関数は、0.25-の減算により、付近のさまざまな確率質量領域を「バランス調整」すると解釈できます。中央値の場合、これらの質量領域は等しくなります：損失関数を比例させます（予想では定数は無視できます）中央値の望ましい結論を与えます。

L_{0.25} (m, X) = | (X - m) (0.25 - 1 {X > m}) | .

$L_{0.25}(m,X) = \left| \left( X - m \right) \left(0.25 - \mathbf{1}\{ X > m \} \right) \right|.$

0.25

$0.25$

0.25 - 1 {X > m}

$0.25 - \mathbf{1}\{ X > m \}$

L_{0.5} (m, X) = | (X - m) (0.5 - 1 {X > m}) | = | (X - m) \times \pm 0.5 |,

$L_{0.5}(m,X) = \left| \left( X - m \right) \left(0.5 - \mathbf{1}\{ X > m \} \right) \right| = \left| \left( X - m \right) \times \pm 0.5 \right|,$

| X - m |,

$\left| X - m\right|,$

（+1）よくできました！-そのウィキペディアの記事をどこで探すかは明らかではありませんでした。あなたは分位回帰について考えなければなりませんでした。

— whuber

おかげで、@マシュー、これは素晴らしい発見です。私は解釈のバランスをとるのが好きです

— Cam.Davidson.Pilon 2014年

まだ理解できません。これはどこから来たのですか？Xが分位点を上回っている場合、は0.75に重み付けされ、それ以外の場合は0.25になりますか？それだけ？

| (0.25) - 1 X > m) |

$|(0.25)-\mathbb{1}{X>m})|$

(X - m)

$(X-m)$

— IcannotFixThis 2015年