iid実数値確率変数の合計に対するベイズ推定

ましょう、、...、 IID RVの範囲となるが、未知の分布。（必要に応じて、配信が継続的であると仮定しても構いません。） $X_1$ $X_2$ $X_n$ $[0,1]$

定義します。 $S_n = X_1 + \cdots + X_n$

私は与えられ $S_k$ 、尋ねます：についてベイジアンの方法で何を推測でき $S_n$ ますか？

つまり、RVのサイズ $k$ のサンプルの合計が与えられ、ベイジアンアプローチを使用して、すべてのRVの合計の分布について何を推測できるかを知りたいのです（そして、分布）。

サポートがではなく場合、この問題は十分に研究されており、（事前分布が均一であれば）推定分布のベータ二項複合分布が得られます。しかし、を範囲としてどのようにアプローチするのかわかりません... $\{0,1\}$ $[0,1]$ $S_n$ $[0,1]$

完全な開示：私はすでにこれをMathOverflowに投稿しましたが、ここに投稿した方がいいと言われたので、これは再投稿です。

bayesian inference

— ロナルドLリベスト
ソース

MOであなたにコメントを書こうとしていましたが、代わりにここに書きます。質問がこのフォーラムにより適していると思われる場合は、MOにフラグを付けて、クローズするよう依頼することができます。

— 枢機卿、

あなたの最後の声明の説明をお願いします。範囲が場合、の分布でにない値に質量を置く分布は愚かなように見えるので、あなたの目的を正しく理解しました。（たぶん参照が役に立つでしょう。）

{0, 1}

$\{0,1\}$

{0, 1, \dots, n}

$\{0,1,\ldots,n\}$

S_{k}

$S_k$

— 枢機卿

私は何を誤解しましたか？

— 枢機卿

ベイジアンのノンパラメトリックに興味がありますか？の分布を仮定したくない場合は、

X_{k}

$X_k$ の場合、ノンパラメトリックフレームワークが必要です。しかし、その後、

S_{k}

$S_k$ あなたは多くを言うことはできません...

— 西安

これらは良い発言です。問題が少し混乱したことを残念に思います。と比較してnは非常に大きいと思っていました

k

$k$ 、そしてその事後

S_{n}

$S_n$ パラメータの事後を直接反映します。おそらくの代わりに

S_{n}

$S_n$ 私は使うべきだった

S_{n}^{'} = S_{n} / n

$S'_n = S_n/n$ 、後部を求めた

lim S_{n}^{'}

$\lim S'_n$ 無限大になります。これは今意味がありますか？

n

$n$

— ロナルドLリベスト

回答:

次のベイズノンパラメトリック分析を考えてみましょう。

定義する $\mathscr{X}=[0,1]$ そしてましょう $\mathscr{B}$ ボレルのサブセットである $\mathscr{X}$ 。しましょう $\alpha$ ゼロ以外の有限測定であること $(\mathscr{X},\mathscr{B})$ 。

しましょう $Q$ パラメータ付きのディリクレ過程であること $\alpha$ 、そして $X_1,\dots,X_n$ 条件付きでiidである $Q=q$ 、そのような $\mu_{X_1}(B)=P\{X_1\in B\} = q(B)$ 、すべてのための $B\in\mathscr{B}$ 。

ディリクレ過程の特性から、 $X_1,\dots,X_k$ 、のような将来の観測の予測分布 $X_{k+1}$ メジャーです $\beta$ 以上 $(\mathscr{X},\mathscr{B})$ によって定義されます

β (B) = \frac{1}{α (X) + k} (α (B) + \sum_{i = 1}^{k} I_{B} (X_{i})) .

$\beta(B) = \frac{1}{\alpha(\mathscr{X})+k} \left( \alpha(B) + \sum_{i=1}^k I_B(X_i)\right) \, .$

今、定義します $\mathscr{F}_k$ によって生成されたシグマ場として $X_1,\dots,X_k$ 、測定可能性との対称性を使用します $X_i$ 取得する

E [S_{n} ∣ F_{k}] = S_{k} + E [\sum_{i = k + 1}^{n} X_{i} | F_{k}] = S_{k} + (n - k) E [X_{k + 1} ∣ F_{k}],

$E\left[ S_n \mid \mathscr{F}_k \right] = S_k + E\left[ \sum_{i=k+1}^n X_i \,\Bigg\vert\, \mathscr{F}_k \right] = S_k + (n-k) E\left[ X_{k+1} \mid \mathscr{F}_k \right] \, ,$ ほぼ間違いなく。

明確な答えを見つけるために、 $\alpha(\cdot)/\alpha(\mathscr{X})$ です $U[0,1]$ 。定義 $c=\alpha(\mathscr{X})>0$ 、我々は持っています

E [S_{n} ∣ X_{1} = x_{1}, \dots, X_{k} = x_{k}] = s_{k} + \frac{n - k}{c + k} (\frac{c}{2} + s_{k}),

$E\left[ S_n \mid X_1=x_1,\dots,X_k=x_k \right] = s_k + \frac{n-k}{c+k}\left(\frac{c}{2}+s_k\right) \, ,$ ほぼ確実に

[μ_{X_{1}, \dots, X_{k}}]

$[\mu_{X_1,\dots,X_k}]$ （の共同配布

X_{1}, \dots, X_{k}

$X_1,\dots,X_k$ ）、どこ

s_{k} = x_{1} + \dots + x_{k}

$s_k=x_1+\dots+x_k$ 。「有益ではない」限界

c \to 0

$c\to 0$ 、以前の期待は、

n \cdot (s_{k} / k)

$n\cdot (s_k/k)$ 、つまり、この場合、事後推定は

S_{n}

$S_n$ ただ

n

$n$ 最初の平均の倍

k

$k$ 可能な限り直感的に見える観察。

— 禅
ソース

素敵な表現を得ることが可能ですか

Var [S_{n} | S_{k}]

$\text{Var}[S_n|S_k]$ このモデルでも？

— シアン

以下の測定理論の欠如と表記法の乱用を許してください...

これはベイジアン推論であるため、問題の未知数に関する事前知識が必要です。この場合は、 $X_1$ 、上の一連の分布の値を取る無限次元パラメーター $[0, 1]$ （あれを呼べ $\pi$ ）。データ配信 $S_k|\pi$ 正規分布に収束するので、 $k$ 十分に大きい（Berry-Esseenの定理）ので、近似値としてその法線をたたくことができます。さらに、近似が正確である場合、以前の唯一の側面 $p(\pi)$ 実際的に重要なのは $(\text{E}_\pi(X_1),\text{Var}_\pi(X_1))=(\mu,\sigma^2)$ 。

次に、標準のベイズ予測を行い、おおよその密度を入力します。（ $S_n$ と同じ近似が適用されます $S_k$ 。）

$p(S_n|S_k) = \int p(\pi|S_k)p(S_n|\pi,S_k)d\pi$

$p(S_n|S_k) = \int \frac{p(\pi)p(S_k|\pi)}{p(S_k)}p(S_n|\pi,S_k)d\pi$

$p(S_n|S_k) \approx \frac{\int p(\mu,\sigma^2)\text{N}(S_k|k\mu,k\sigma^2)\text{N}(S_n|(n-k)\mu + S_k, (n-k)\sigma^2) d(\mu,\sigma^2)}{\int p(\mu,\sigma^2)\text{N}(S_k|k\mu,k\sigma^2) d(\mu,\sigma^2)}$

For the limits of the integral, $\mu \in [0, 1]$ , obviously; I think $\sigma^2 \in [0,\frac{1}{4}]$ ?

Added later: no, $\sigma^2 \in [0,\mu(1-\mu)].$ This is nice -- the allowed values of $\sigma^2$ depend on $\mu$ , so info in the data about $\mu$ is relevant to $\sigma^2$ too.

— Cyan
ソース

I don't understand your main paragraph. First of all, the convergence to a normal is only after a shift and rescale of

S_{n}

$S_n$ and this is not by the Berry--Esseen theorem (which is a theorem on the convergence rate to normal), but the CLT. Furthermore, the shift and rescale will depend on the particular fixed parameter. Have you looked at a case where you have, say, a three point prior uniformly distributed on

{0, 1 / 2, 1}

$\{0,1/2,1\}$ ?

— cardinal

Let me clarify that when I write "normal" I don't mean standard normal. So the shift and re-scale change the mean and variance but the convergence is still to some element in the family of normal distributions. I meant for the link to the Berry-Esseen theorem to reference the phrase "if

k

$k$ is large enough"; its current placement is a cut-n-paste error, and I'll change it. I don't understand your question about the fixed parameter -- can you clarify the question?

— Cyan

Re: cardinal's question. Note that the prior is a distribution on distributions with support in

[0, 1]

$[0, 1]$ . If I take your question literally, you're asking about a prior that has support on three constant random variables, which is trivial to analyze. But since you wrote in another comment "If the range is

0, 1

${0,1}$ then any distribution that puts any mass on values not in

0, 1, \dots, n

${0,1,…,n}$ for the distribution of

S_{k}

$S_k$ seems silly," I think you're asking discrete data distributions. The short answer is, "no, it's not silly." Continued...

— Cyan

It's OK to approximate a discrete distribution with a continuous one.

— Cyan

I think there are several issues here: (a) The question statement could use some refinement to clarify the end goal, (b) the question, comments and answers have, unfortunately, been muddled through inadvertent typos, calculation errors and multiple threads of conversation, and (c) my comments referenced above appear taken a little out of context. My statement regarding

S_{k}

$S_k$ (Typo: should have been

S_{n}

$S_n$ ) concerns the posterior distribution of

S_{n}

$S_n$ given

S_{k}

$S_k$ . If I know

S_{n} \in {S_{k}, \dots, n}

$S_n \in \{S_k,\ldots,n\}$ then any posterior distribution which does not put all its mass there should be inadmissible.

— cardinal

Let each $X_i$ belong to distribution family $F$ and have parameters $\theta$ .

Given, $S_k$ , we have a distribution on $\theta$ :

\begin{aligned} Pr (θ ∣ S_{k}) & = \frac{1}{Z} Pr (θ) Pr (S_{k} ∣ θ) \end{aligned}

$\begin{align} \Pr(\theta \mid S_k) &= \frac1Z \Pr(\theta)\Pr(S_k \mid \theta) \end{align}$

And, our distribution on $S_n$ , $n \ge k$ is

\begin{aligned} Pr (S_{n} = i ∣ S_{k}) & = Pr (S_{n - k} = i - S_{k} | S_{k}) \\ = \int Pr (S_{n - k} = i - S_{k} | θ) Pr (θ ∣ S_{k}) d θ \end{aligned}

$\begin{align} \Pr(S_n = i \mid S_k) &= \Pr(S_{n-k} = i - S_k | S_k) \\ &= \int \Pr(S_{n-k} = i - S_k | \theta)\Pr(\theta \mid S_k)d\theta \\ \end{align}$

(and similarly for $n < k$ )

Both of these equations have nice forms when $F$ is a distribution in the exponential family that is closed under summation of iid elements like the normal distribution, the gamma distribution, and the binomial distribution. It also works for their special cases like the exponential distribution and the Bernoulli distribution.

It might be interesting to consider $F$ is the family of scaled (by $\frac1n$ ) binomial distributions with known "trials" $n$ , and taking the limit as $n$ goes to infinity.

— Neil G
ソース