経験的分布の代替

賞金：

完全な恵みを推定言及用途または任意の発表された論文への参照を提供誰かに授与されます $\tilde{F}$ 以下を。

動機：

このセクションはおそらくあなたにとって重要ではなく、あなたが報奨金を得るのに役立たないと思いますが、誰かが動機について尋ねたので、ここで私が取り組んでいるものがあります。

統計グラフ理論の問題に取り組んでいます。標準の密集グラフ制限オブジェクト $W : [0,1]^2 \to [0,1]$ の意味での対称関数である $W(u,v) = W(v,u)$ 。上のグラフサンプリング $n$ 頂点がサンプリングと考えることができる $n$ （単位区間上に均一な値 $U_i$ ために $i = 1, \dots, n$ ）、次いで、エッジの確率 $(i,j)$ である $W(U_i, U_j)$ 。結果の隣接行列をと呼びます $A$ ます。

我々は扱うことができ $W$ 密度として $f = W / \iint W$ と仮定 $\iint W > 0$ 。我々は推定した場合 $f$ に基づいて $A$ への制約を受けることなく $f$ 、我々は一貫性の推定値を得ることができません。が制約付きの可能な関数のセットに由来する場合、一貫して推定することに関する興味深い結果を見つけました。この推定量と、を推定でき。 $f$ $f$ $\sum A$ $W$

残念ながら、私が見つけた方法は、密度分布からサンプリングしたときに一貫性を示してい $f$ ます。 $A$ 構築方法では、ポイントのグリッドをサンプリングする必要があります（元のから描画するのとは対照的 $f$ です）。このstats.SEの質問では、実際に分布から直接サンプリングするのではなく、このようなグリッドでサンプルベルヌーイのみをサンプリングできる場合に何が起こるかという1次元（より単純な）問題を求めています。

グラフの制限の参照：

L.ロバスツとB.セゲディ。密なグラフシーケンスの制限（arxiv）。

C.ボルグス、J。チェイス、L。ロバスツ、V。ソス、K。ヴェステルゴンビ。密なグラフの収束シーケンスi：サブグラフの頻度、メトリックプロパティ、およびテスト。（arxiv）。

表記：

CDFと連続分布検討 $F$ およびPDF $f$ 区間に正サポートしている $[0,1]$ 。仮定 $f$ ないpointmassを有していない、 $F$ どこでも微分可能であり、また、その $\sup_{z \in [0,1]} f(z) = c < \infty$ のsupremumある $f$ 区間に $[0,1]$ 。ましょ $X \sim F$ 確率変数という意味 $X$ は、分布からサンプリングされ $F$ ます。 $U_i$ オンIID一様ランダム変数である $[0,1]$ 。

問題のセットアップ：

多くの場合、 $X_1, \dots, X_n$ を分布ランダム変数と $F$ し、通常の経験分布関数としてここで、指標関数です。この経験分布ように注意それ自体ランダムである（ここで

{\hat{F}}_{n} (t) = \frac{1}{n} \sum_{i = 1}^{n} I {X_{i} \leq t}

$\hat{F}_n(t) = \frac{1}{n} \sum_{i=1}^n I\{X_i \leq t\}$

I

$I$

{\hat{F}}_{n} (t)

$\hat{F}_n(t)$

t

$t$ 固定されています）。

残念ながら、からサンプルを直接描画することはできません。しかし、私は知っている唯一に積極的な支援を持っている、と私は、ランダムな変数を生成することができます成功の確率でベルヌーイ分布を持つ確率変数であるここで、 $F$ $f$ $[0,1]$ $Y_1, \dots, Y_n$ $Y_i$

p_{i} = f ((i - 1 + U_{i}) / n) / c

$p_i = f((i-1+U_i)/n)/c$

c

$c$ および

は上記で定義されています。だから、

。私は推定可能性があることを1つの明白な方法

これらから

値が取ることである

U_{i}

$U_i$

Y_{i} \sim Bern (p_{i})

$Y_i \sim \text{Bern}(p_i)$

F

$F$

Y_{i}

$Y_i$

天井関数（ある、最も近い整数にちょうどラウンドアップ）であり、そして場合再描画

（ゼロで割って宇宙が崩壊するのを避けるため）。ことに注意してください

また、以降確率変数である

確率変数です。

{\tilde{F}}_{n} (t) = \frac{1}{\sum_{i = 1}^{n} Y_{i}} \sum_{i = 1}^{⌈ t n ⌉} Y_{i}

$\tilde{F}_n(t) = \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i$

⌈ \cdot ⌉

$\lceil \cdot \rceil$

\sum_{i = 1}^{n} Y_{i} = 0

$\sum_{i=1}^n Y_i = 0$

\tilde{F} (t)

$\tilde{F}(t)$

Y_{i}

$Y_i$

質問：

（私が思うに）最も簡単なものから最も難しいものまで。

この場合は誰もが知っています（類似または何かが）名前を持っていますか？そのプロパティの一部を参照できるリファレンスを提供できますか？ $\tilde{F}_n$
、ある $n \to \infty$ の一貫性の推定量（そして、あなたはそれを証明することができますか）？ $\tilde{F}_n(t)$ $F(t)$
極限分布は何かなど？ $\tilde{F}_n(t)$ $n \to \infty$
理想的には、関数として次をバインドしたいです。 $n$ -例えば、、しかし、私は真実が何であるか知らない。の略確率でビッグO $O_P(\log(n) /\sqrt{n})$ $O_P$

sup_{C \subset [0, 1]} \int_{C} | {\tilde{F}}_{n} (t) - F (t) | d t

$\sup_{C \subset [0,1]} \int_C |\tilde{F}_n(t) - F(t)| \, dt$

いくつかのアイデアとメモ：

これは、グリッドベースの層別化による受け入れ拒否サンプリングによく似ています。ただし、提案を拒否した場合に別のサンプルを描画しないためではありません。
私はこれはかなり確信しているバイアスされています。私は代替考える $\tilde{F}_n$ 公平であるが、それはその不快な性質を持っている
${\tilde{F^{*}}}_{n} (t) = \frac{c}{n} \sum_{i = 1}^{⌈ t n ⌉} Y_{i}$ $\tilde{F^*}_n(t) = \frac{c}{n} \sum_{i=1}^{\lceil tn \rceil} Y_i$ 。 $\mathbb{P}\left(\tilde{F^*}(1) = 1\right) < 1$
私は使用に興味がありますとして、プラグイン推定。これは有用な情報ではないと思いますが、おそらくそれが何らかの理由でわかるかもしれません。 $\tilde{F}_n$

Rの例

経験的分布と比較したい場合のRコードは次のとおりです。。申し訳ありませんが、インデントの一部が間違っています...それを修正する方法がわかりません。 $\tilde{F}_n$

# sample from a beta distribution with parameters a and b
a <- 4 # make this > 1 to get the mode right
b <- 1.1 # make this > 1 to get the mode right
qD <- function(x){qbeta(x, a, b)} # inverse
dD <- function(x){dbeta(x, a, b)} # density
pD <- function(x){pbeta(x, a, b)} # cdf
mD <- dbeta((a-1)/(a+b-2), a, b) # maximum value sup_z f(z)


# draw samples for the empirical distribution and \tilde{F}
draw <- function(n){ # n is the number of observations
  u <- sort(runif(n)) 
  x <- qD(u) # samples for empirical dist
  z <- 0 # keep track of how many y_i == 1
  # take bernoulli samples at the points s
  s <- seq(0,1-1/n,length=n) + runif(n,0,1/n) 
  p <- dD(s) # density at s
  while(z == 0){ # make sure we get at least one y_i == 1
    y <- rbinom(rep(1,n), 1, p/mD) # y_i that we sampled
    z <- sum(y)
  }
  result <- list(x=x, y=y, z=z)
  return(result)
}

sim <- function(simdat, n, w){
  # F hat -- empirical dist at w
  fh <- mean(simdat$x < w) 
  # F tilde
  ft <- sum(simdat$y[1:ceiling(n*w)])/simdat$z
  # Uncomment this if we want an unbiased estimate.
  # This can take on values > 1 which is undesirable for a cdf.
  ### ft <- sum(simdat$y[1:ceiling(n*w)]) * (mD / n)
  return(c(fh, ft))
}


set.seed(1) # for reproducibility

n <- 50 # number observations
w <- 0.5555 # some value to test this at (called t above)
reps <- 1000 # look at this many values of Fhat(w) and Ftilde(w)
# simulate this data
samps <- replicate(reps, sim(draw(n), n, w))

# compare the true value to the empirical means
pD(w) # the truth 
apply(samps, 1, mean) # sample mean of (Fhat(w), Ftilde(w))
apply(samps, 1, var)  # sample variance of (Fhat(w), Ftilde(w))
apply((samps - pD(w))^2, 1, mean) # variance around truth


# now lets look at what a single realization might look like
dat <- draw(n)
plot(NA, xlim=0:1, ylim=0:1, xlab="t", ylab="empirical cdf",
     main="comparing ECDF (red), Ftilde (blue), true CDF (black)")
s <- seq(0,1,length=1000)
lines(s, pD(s), lwd=3) # truth in black
abline(h=0:1)
lines(c(0,rep(dat$x,each=2),Inf),
     rep(seq(0,1,length=n+1),each=2),
     col="red")
lines(c(0,rep(which(dat$y==1)/n, each=2),1),
      rep(seq(0,1,length=dat$z+1),each=2),
      col="blue")

output from the above data

編集：

編集1-

これを編集して、@ whuberのコメントに対処しました。

編集2-

Rコードを追加して、もう少しクリーンアップしました。読みやすくするために表記を少し変更しましたが、基本的には同じです。許可され次第、これに報奨金をかける予定ですので、さらに説明が必要な場合はお知らせください。

編集3-

@cardinalの発言に取り組んだと思います。合計変動のタイプミスを修正しました。バウンティを追加しています。

編集4-

@cardinalの「動機付け」セクションを追加しました。

— user1448319
ソース

f

$f$

F

$F$

sup_{z} f (z)

$\sup_z f(z)$

sup

$\sup$

コメントをありがとう@whuber 修正された質問がまだ紛らわしい場合はお知らせください。

— -user1448319

あぁ！これは、

が固定されておらず、漸近性に興味があることを見た最初の兆候です。

を選択する柔軟性がある場合、サンプルポイントの適応選択（固定グリッド

限定するのではなく）などの可能性が広がりますか？また、

が連続的である（同様に、

は完全に連続的である）というような無言の仮定をしていることも明らかです。この分析に役立つ基礎となる分布

について他に何を想定できますか？

n

$n$

n

$n$

{i / n}

$\{i/n\}$

f

$f$

F

$F$

F

$F$

— ウーバー

p_{i}

$p_i$

Y_{i, n}

$Y_{i,n}$

i = 1, \dots, n

$i=1,\ldots,n$

p_{i}

$p_i$

f (U) / c

$f(U)/c$

U

$U$ は一様なランダム変数です。本当？（質問へのもう少しのコンテキストは、これらのクエリの多くを解決するでしょう。）乾杯。

— 枢機

この質問は非常に改善されたので、以前にコメントを見たことに気付くまでは認識しませんでした。今では非常に興味深く、よりよく書かれた質問です。

— Glen_b-モニカを復活させる

回答:

この参照しながら

編集：非常に類似した統計への参照を追加「不完全な観測からのノンパラメトリック推定」 EL Kaplan and Paul Meier 53、No。282（1958年6月）、pp。457-481

$[0,1]$ $[0,\infty)$

十分な振る舞いをしていれば、カーネル平滑化による分布の合理的な推定値が得られれば、バイアスの推定が可能になります（WikipediaのKhmaladze変換などを参照）。

$f = W / \iint W$ $A$

— ジェームズ・プリチャード
ソース

Jamesのサイトへようこそ。あなたの貢献をもっと楽しみにしています。

— 枢機

上記の質問2と3に答えます。まだ参考文献が欲しいのですが（質問1から）。

$\sum Y_i = 0$

$g(A,B) = A/(A+B)$

\begin{aligned} g_{A} (A, B) & = (A + B)^{- 1} + A (A + B)^{- 2} \\ g_{B} (A, B) & = - A (A + B)^{- 2} \\ g_{A A} (A, B) & = 2 B (A + B)^{- 3} \\ g_{A B} (A, B) & = (A - B) (A + B)^{- 3} \\ g_{B B} (B, B) & = 2 A (A + B)^{- 3} \end{aligned}

$\begin{align} g_A(A,B) &= (A+B)^{-1} + A(A+B)^{-2}\\ g_B(A,B) &= -A(A+B)^{-2}\\ g_{AA}(A,B) &= 2B(A+B)^{-3}\\ g_{AB}(A,B) &= (A-B)(A+B)^{-3}\\ g_{BB}(B,B) &= 2A(A+B)^{-3} \end{align}$ where the subscripts denote the derivatives. Recall

p_{i} = f ((i - 1 + U_{i}) / n) / c

$p_i = f((i-1+U_i)/n)/c$ . Let

\begin{aligned} R = \frac{1}{n} \sum_{i = 1}^{⌈ n t ⌉} Y_{i}, & μ_{R} = E (R) = \int_{0}^{t} p (u) d u = c^{- 1} F (t) \\ S = \frac{1}{n} \sum_{⌈ n t ⌉ + 1}^{n} Y_{i}, & μ_{S} = E (S) = \int_{t}^{1} p (u) d u = c^{- 1} (1 - F (t)) \end{aligned}

$\begin{align} R = \frac{1}{n}\sum_{i=1}^{\lceil nt \rceil} Y_i, \quad& \mu_R = \mathbb{E}(R) = \int_0^t p(u) \, d u = c^{-1}F(t)\\ S = \frac{1}{n}\sum_{\lceil nt \rceil +1}^n Y_i, \quad& \mu_S = \mathbb{E}(S) = \int_t^1 p(u) \, d u = c^{-1}(1-F(t)) \end{align}$ So note that

μ_{R} + μ_{S} = c^{- 1} F (t) + c^{- 1} (1 - F (t)) = c^{- 1}

$\mu_R + \mu_S = c^{-1}F(t) + c^{-1}(1-F(t)) = c^{-1}$ and

g (μ_{R}, μ_{S}) = F (t)

$g(\mu_R, \mu_S) = F(t)$ . Also,

\begin{aligned} Var (R) & = \frac{1}{n^{2}} \sum_{i = 1}^{⌈ n t ⌉} Var (Y_{i}) = \frac{1}{n} \int_{0}^{t} f (u) / c (1 - f (u) / c) d u = \frac{1}{n c^{2}} \int_{0}^{t} f (u) (c - f (u)) d u \\ Var (S) & = \frac{1}{n c^{2}} \int_{t}^{1} f (u) (c - f (u)) d u \end{aligned}

$\begin{align} \text{ Var}(R) &= \frac{1}{n^2} \sum_{i=1}^{\lceil nt \rceil} \text{ Var}(Y_i) = \frac{1}{n} \int_0^t f(u)/c(1-f(u)/c) \, d u = \frac{1}{nc^2} \int_0^t f(u)(c-f(u)) \, d u\\ \text{ Var}(S) &= \frac{1}{nc^2} \int_t^1 f(u)(c-f(u)) \, d u \end{align}$ Note that

Cov (R, S) = 0

$\text{ Cov}(R,S) = 0$ by independence of the

Y_{i}

$Y_i$ s.

Now, we use a taylor expansion to get

\begin{aligned} E ({\tilde{F}}_{n} (t)) = E (\frac{1}{\sum_{i = 1}^{n} Y_{i}} \sum_{i = 1}^{⌈ t n ⌉} Y_{i}) = E (\frac{n R}{n R + n S}) = E (\frac{R}{R + S}) = E (g (R, S)) \\ = g (μ_{R}, μ_{S}) + \frac{1}{2} E ((R - μ_{R})^{2}) g_{R R} (μ_{R}, μ_{S}) \\ + E ((R - μ_{R}) (S - μ_{S})) g_{R S} (μ_{R}, μ_{S}) + \frac{1}{2} E ((S - μ_{S})^{2}) g_{S S} (μ_{R}, μ_{S}) + \dots \\ = F (t) + \frac{1}{2} E ((R - μ_{R})^{2}) 2 μ_{S} (μ_{R} + μ_{S})^{- 3} \\ + E ((R - μ_{R}) (S - μ_{S})) (μ_{R} - μ_{S}) (μ_{R} + μ_{S})^{- 3} \\ + \frac{1}{2} E ((S - μ_{S})^{2}) 2 μ_{R} (μ_{R} + μ_{S})^{- 3} + \dots \\ = F (t) + (μ_{R} + μ_{S})^{- 3} (E ((R - μ_{R})^{2}) μ_{S} + E ((R - μ_{R}) (S - μ_{S})) (μ_{R} - μ_{S}) \\ + E ((S - μ_{S})^{2}) μ_{R}) + \dots \\ = F (t) + c^{3} (Var (R) c (1 - F (t)) \\ + Cov (R, S) (c F (t) - c (1 - F (t))) + Var (S) c F (t)) + \dots \\ = F (t) + c^{4} ((\frac{1}{n} \int_{0}^{t} f (u) (c - f (u)) d u) (1 - F (t)) \\ + (\frac{1}{n} \int_{t}^{1} f (u) (c - f (u)) d u) F (t)) + \dots \\ = F (t) + {\tilde{V}}_{F (t)} / n + \dots \\ = F (t) + O (n^{- 1}) \end{aligned}

$\begin{align} &\mathbb{E}\left(\tilde{F}_n(t)\right) =\mathbb{E}\left( \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i \right) =\mathbb{E}\left(\frac{nR}{nR+nS}\right) =\mathbb{E}\left(\frac{R}{R+S}\right) =\mathbb{E}\left(g(R,S)\right)\\ &=g(\mu_R,\mu_S) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)g_{RR}(\mu_R, \mu_S) \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))g_{RS}(\mu_R, \mu_S) + \frac{1}{2}\mathbb{E}((S - \mu_S)^2)g_{SS}(\mu_R, \mu_S) + \dots \\ &= F(t) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)2\mu_S(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S)(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \frac{1}{2}\mathbb{E}((S - \mu_S)^2) 2\mu_R(\mu_R+\mu_S)^{-3} + \dots\\ &= F(t) + (\mu_R+\mu_S)^{-3} \bigg( \mathbb{E}((R - \mu_R)^2)\mu_S + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S) \nonumber\\ &\quad + \mathbb{E}((S - \mu_S)^2) \mu_R \bigg) + \dots \\ &= F(t) + c^3 \left( \text{ Var}(R)c(1-F(t)) \right. \nonumber\\ &\quad + \left.\text{ Cov}(R,S)(cF(t) - c(1-F(t))) + \text{ Var}(S) cF(t) \right) + \dots \\ &= F(t) + c^4 \left( \left(\frac{1}{n} \int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) \right. \nonumber\\ &\quad \left. + \left(\frac{1}{n} \int_t^1 f(u)(c-f(u)) \, d u \right) F(t) \right) + \dots\\ &= F(t) + \tilde{V}_{F(t)}/n + \dots\\ &= F(t) + {\cal O}(n^{-1}) \end{align}$ where

\begin{aligned} {\tilde{V}}_{F (t)} & = c^{2} (\int_{0}^{t} f (u) (c - f (u)) d u) (1 - F (t)) + c^{2} (\int_{t}^{1} f (u) (c - f (u)) d u) F (t) \\ < c^{2} (\int_{0}^{t} c f (u) d u) (1 - F (t)) + c^{2} (\int_{t}^{1} c f (u) d u) F (t) \\ < c^{3} 2 F (t) (1 - F (t)) \end{aligned}

$\begin{align} \tilde{V}_{F(t)} &= c^2\left(\int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) + c^2\left(\int_t^1 f(u)(c-f(u)) \, d u \right) F(t)\\ &< c^2\left( \int_0^t cf(u) \, d u\right)(1 - F(t)) + c^2\left( \int_t^1 cf(u) \, d u\right)F(t)\\ &< c^3 2F(t)(1-F(t)) \end{align}$ In particular, we get

\begin{aligned} \sqrt{n} ({\tilde{F}}_{n} (t) - F (t)) \overset{d}{\to} N (0, V_{F (t)}) \end{aligned}

$\begin{align} \sqrt{n}\left(\tilde{F}_n(t) - F(t)\right) \overset{d}{\to} N(0,V_{F(t)}) \end{align}$

Please comment if you see something wrong with this.

EDITS:

Edit 1 --

Fixed a typo in $V_{F(t)}$ . Thanks @cardinal for your suggestion in the comments about question 4.

Edit 2 --

Fixed plenty of typos: I had $c^{-1}$ where I should have had $c$ in many places. I still need to address @cardinal's response about $\sum Y_i = 0$ .

— user1448319
ソース

Dear @user: This is on the right track; here are some suggestions. (1) The mean of

{\tilde{F}}_{n} (t)

$\tilde F_n(t)$ doesn't exist, at least not until you specify what happens when

\sum_{i} Y_{i} = 0

$\sum_i Y_i = 0$ , so strictly speaking the analysis in the answer is not correct. Defining a behavior at zero will break the independence structure, but all is not lost. (2) Essentially, what you're doing is applying the multivariate delta method. Note that this doesn't require the existence of the mean of

{\tilde{F}}_{n} (t)

$\tilde F_n(t)$ , so it will be cleaner (and more correct) if you go this route.

— cardinal

(3) Item 4 in your list is handled as follows. Note that

sup_{C \subset [0, 1]} \int_{C} | \tilde{F} - F | \leq sup_{[0, 1]} | \tilde{F} - {\tilde{F}}^{⋆} | + \int_{0}^{1} | {\tilde{F}}^{⋆} - E {\tilde{F}}^{⋆} | + O (n^{- 1}) .

$\sup_{C\subset [0,1]} \int_C |\tilde F - F| \leq \sup_{[0,1]} |\tilde F - \tilde F^{\star}| + \int_0^1 |\tilde F^\star - \mathbb E \tilde F^\star| + O(n^{-1})\>.$ The first term on the right-hand side,

{\sum_{i} Y_{i} > 0}

$\{\sum_i Y_i > 0\}$ , is

\leq | 1 - c n^{- 1} \sum_{i} Y_{i} |

$\leq |1 - c n^{-1}\sum_i Y_i|$ , so is clearly

O_{p} (n^{- 1 / 2})

$\mathcal O_p(n^{-1/2})$ . You're left only to deal with the middle term, but that succumbs readily to Markov's inequality followed by Jensen's and is also

O_{p} (n^{- 1 / 2})

$\mathcal O_p(n^{-1/2})$ .

— cardinal

Dear @user: It would be helpful to see some more elaboration to your remark regarding not needing to considering the case

\sum_{i} Y_{i} = 0

$\sum_i Y_i = 0$ . What you are describing is conditional sampling. The

Y_{i}

$Y_i$ conditional on

{\sum_{i} Y_{i} > 0}

$\{\sum_i Y_i > 0\}$ are not independent (or conditionally independent), so the (implicit) analysis in the answer does not hold. It may be helpful to look at the

n = 2

$n=2$ case to see this (just draw the

2 \times 2

$2 \times 2$ table).

— cardinal

As an additional aside, it may be worth noting that

sup_{C} \int_{C} | \tilde{F} - F | = \int_{0}^{1} | \tilde{F} - F |

$\sup_C \int_C |\tilde F - F| = \int_0^1 |\tilde F - F|$ , so this definition can be simplified.

— cardinal