分布の分析形式が不明な場合の変位値関数の取得方法

問題は、この[0]論文の377〜379ページにあります。

連続分布と固定与えられた場合、以下を考慮してください： $F$ $z\in\mathbb{R}$

L_{z} (t) = P_{F} (| z - Z | \leq t)

$L_z(t)=P_F(|z-Z|\leq t)$

そして

H (z) = L_{z}^{- 1} (0.5) = \underset{Z \sim F}{med} | z - Z |

$H(z)=L^{-1}_z(0.5)=\underset{Z\sim F}{\mbox{med}}|z-Z|$

ここで、は正しい連続逆行列です。したがって、固定場合、これはすべてのからまでの距離の中央値です。次に、関数について考えます。 $L^{-1}_z(u)=\inf\{t:L_z(t)>u\}$ $z$ $Z\sim F$ $z$

L (t) = P_{F} (H (Z) \leq t)

$L(t)=P_F(H(Z)\leq t)$

今、私は分析式を持っていません $H(z)$ （実際、そのための分析式は不可能だと確信しています）が、CDF が与えられれば $F$ 、ルート探索アルゴリズムを使用して $H(z)$ 任意の $z$ 。

このアプリケーションでは、興味があります：

L^{- 1} (0.5) = \underset{Z \sim F}{med} H (Z)

$L^{-1}(0.5)=\underset{Z\sim F}{\mbox{med}}H(Z)$

これは、中央値である $H(Z)$ のために、再度、 $Z\sim F$ 。

を取得するために、グリッド上で多くの値に対応する値をルート検索アルゴリズムを使用して上記で説明したように）計算し、これらの値の重み付き中央値を取ります推定値としての（重み付き。 $L^{-1}(0.5)$ $H(z)$ $z$ $H(z)$ $f(z)$ $L^{-1}(0.5)$

私の質問は：

を取得するためのより正確な方法はありますか（この論文の執筆者は、計算方法を述べていません） $L^{-1}(0.5)$ $L^{-1}(0.5)$
の値のグリッドはどのように選択する必要がありますか？ $z$

[0] OlaHössjer、Peter J. Rousseeuw、Christophe Croux。ロバストなスプレッド汎関数の推定量の漸近。Statistica Sinica 6（1996）、375-388。

— user603
ソース

表記法と用語によれば、「」は、任意のを数値マッピングするものとして理解されるはずこれが「機能」が行うこと、結局）。しかし、「」はどういう意味でしょうか。これは、どちらかの可能性分布（文字通り、逆の）、または、より多くの可能性が高い、数（我々は修正する場合して閲覧として機能機能！--not）が、私はどのような方法が表示されませんこれを分布持つ確率変数として解釈します。作ること

L_{z} (t)

$L_z(t)$

F

$F$

L_{z} (t) [F] = P_{F} (| z - Z | \leq t)

$L_z(t)[F]=P_F(|z-Z|\le t)$

L_{z}^{- 1} (q)

$L_z^{-1}(q)$

L_{z} (t)

$L_z(t)$

F

$F$

L_{z}

$L_z$

F

$F$

M_{q} (t)

$M_q(t)$ かなり神秘的です。

— whuber

ほんの少しですが、まだタイプミスがあるはずです。おそらく、定義では、「」の代わりに「」（その分布にはを持つ確率変数を使用するつもりでしたか？結局のところ、とは両方とも数値であるため、「」に確率を割り当てることはできません。あなたはここで大きなリスクを負っています。あらゆる方程式の単一の小さなタイプミスがあなたの質問を完全に意図しない無関係なものに変えるということです。さらに悪いことに、あなたはあなたが誤って解釈する正しい答えを得るかもしれません！それぞれの公式が何を表現するかについての英語の説明を含めることは（多くの）助けになるでしょう。

L (t)

$L(t)$

Z

$Z$

F

$F$

z

$z$

H (z) \leq t

$H(z)\le t$

H (z)

$H(z)$

t

$t$

— whuber

回答:

$\DeclareMathOperator*{\med}{med}$ 中央値は、予想される距離を最小にする点です。 $L^1$

\underset{Z}{med} f (Z) = \arg min_{m} E_{z} | f (Z) - m |

$\med_Z f(Z) = \arg\min_m E_z|f(Z) - m|$

したがって、式を簡略化できます。

\underset{z_{1} \sim F}{med} \underset{z_{2} \sim F}{med} | z_{1} - z_{2} | = \arg min_{m_{1}} E_{z_{1} \sim F} | m_{1} - \arg min_{m_{2}} E_{z_{2} \sim F} | m_{2} - | z_{1} - z_{2} | | |

$\begin{equation}\med_{z_1 \sim F} \med_{z_2 \sim F} |z_1 - z_2| \\ = \arg\min_{m_1}E_{z_1 \sim F}\left| m_1 - \arg\min_{m_2} E_{z_2 \sim F}\left| m_2 - \left|z_1 - z_2\right|\right|\right| \end{equation}$

これはバイレベルの最適化問題だと思いますが、あまり詳しくはありませんが、適用できる標準的な手法があると思います。次に、収束するまで、より大きなサンプルの中央値のサンプル中央値を計算するよりも速くなることはありません。

— ベン・クーン
ソース

ここでは実現ではなく自体を扱っているので、これで問題が解決されるとは思いません（サンプルサイズがとき、これらのオブジェクトの値に興味があります）。しかし、おそらく私はあなたの答えを誤解していますか？

F

$F$

F

$F$

\infty

$\infty$

— user603、2015年

とにかく、私はとにかく私が導出で間違いを犯したことに気づきました-最適化は実際にはネストされています。使用できる最適化手法はまだあると思いますが、これまでのように大きなサンプルで2番目の中央値を取るよりも優れているかどうかはわかりません。

— Ben Kuhn、

良いので、同じことを今

— 考え

分位数関数を推定するための簡単なデータ駆動型アプローチは、次のとおりです。

観測をブートストラップして、元のサンプルよりもはるかに多くの値（特に、最初の制限されたサンプルの範囲を超える値）を生成します。基本的なノンパラメトリックブートストラップの主な制限を回避するために、平滑化されたブートストラップシミュレーションスキームを使用することをお勧めします。これは、カーネル密度推定からのシミュレーションと同等です。
これから、シミュレーション値（ecdfRの関数）の経験的累積分布関数（CDF）を取得できます。CDFの逆は、分位関数（quantile Rの関数）に他なりません。値を取得して分位関数をプロットするには、ここを参照してください。信頼帯を取得することもできます。

ただし、前提条件として、少なくとも基礎となるPDFの形状を十分に理解するのに十分な観測値をサンプルから抽出する必要があります。

— アントワーヌ
ソース

なぜブートストラップする方が精度が上がると思いますか？

— kjetil b halvorsen 2015年

すべての有限サンプルの運命は、発生する可能性がある観測の完全なスペクトルが含まれていないことです。たとえば、100年以上にわたって観測された河川の最大水流は、発生する可能性のある絶対最大ではありません。したがって、限られたサンプルに基づく500年の洪水（0.998分位数）または1000年の洪水（0.999分位数）の推定は偏っています（リスクは過小評価されます）。反対に、シミュレーション（平滑化されたブートストラップまたはその他の手法による）によって数十万の新しい観測を生成すると、推定はより正確になります

— Antoine

それは誤解です！ブートストラップされたサンプルの値はすべて、同じ限定された有限のサンプルに由来し、サンプル自体よりも多くの情報を含みません。ブートストラップ（他の分析手法と同様）は、サンプルに含まれる情報の理解を深めるだけであり、その情報を増やすことはできません。

— kjetil b halvorsen 2015年

番号！平滑化されたブートストラップについて話しています。元のサンプルの範囲を超える、目に見えない観測を生成します。上記の回答のリンクをクリックしてください。

— Antoine

@アントワーヌ：わかりましたが、私のコメントは何も変わりません。これらの平滑化された「obs」は、フェモネノン自体ではなく、現象のモデルから生成されるため、「データ」ではありません。

— kjetil b halvorsen 2015年

だから、私は入手する最良の方法は

{med}_{Z \sim F} H (Z)

$\text{med}_{Z\sim F} H(Z)$

することです：

エントリ計算ベクトルの値ののグリッドに対応するの値はに均一に配置されます $n$ $\{H(z_i)\}_{i=1}^n$ $H(z_i)$ $n$ $\{z_i\}_{i=1}^n$ $(F_Z^{-1}(\epsilon),F_Z^{-1}(1-\epsilon))$
の重み付き中央値を重みします。 $\{H(z_i)\}_{i=1}^n$ $F_Z^\prime(z_i)$

— user603
ソース