従属データのベルヌーイ確率変数の合計をモデル化する方法は？

私はこのようなほぼ同じ質問があります： ベルヌーイ確率変数の合計を効率的にモデル化するにはどうすればよいですか？

ただし、設定はかなり異なります。

1. $S=\sum_{i=1,N}{X_i}$、、〜20、〜0.1$P(X_{i}=1)=p_i$$N$$p_i$

2. ベルヌーイ確率変数の結果のデータがあります：、$X_{i,j}$$S_j=\sum_{i=1,N}{X_{i,j}}$

3. 最尤推定でを推定した場合（およびを取得した場合）、がはるかに大きいことが他の基準で期待される：$p_i$$\hat p^{MLE}_i$$\hat P\{S=3\} (\hat p^{MLE}_i)$$\hat P\{S=3\} (\hat p^{MLE}_i) - \hat P^{expected} \{S=3\}\approx 0.05$

4. したがって、とは独立したものとして扱うことができません（依存関係が小さいため）。$X_{i}$$X_{j}$ $(j>k)$

5. これらのようないくつかの制約があります：および（既知）、これは推定に役立つはずです。$p_{i+1} \ge p_i$$\sum_{s \le 2}\hat P\{S=s\}=A$$P\{S\}$

この場合、ベルヌーイ確率変数の合計をモデル化するにはどうすればよいでしょうか？

この課題を解決するのに役立つと思われる文献はどれですか。

更新しました

さらにいくつかのアイデアがあります：

（1）間の未知の依存関係は、連続して1回以上成功した後に始まると想定できます。したがって、場合、およびます。${X_i}$$\sum_{i=1,K}{X_i} > 0$$p_{K+1} \to p'_{K+1}$$p'_{K+1} < p_{K+1}$

（2）MLEを使用するには、問題が最も少ないモデルが必要です。ここにバリアントがあります：

$P\{X_1,...,X_k\}= (1-p_1) ... (1-p_k)$場合任意のkのための ifおよび、および任意のkに対して。$\sum_{i=1,k}{X_i} = 0$$P\{X_1,...,X_k,X_{k+1},...,X_N\}= (1-p_1) ... p_k P'\{X_{k+1},...,X_N\}$$\sum_{i=1,k-1}{X_i} = 0$$X_k = 1$$P'\{X_{k+1}=1,X_{k+2}=1,...,X_N=1\} \le p_{k+1} p_{k+2} ... p_N$

我々はにのみ関心があるので（3）我々が設定できる（末尾からのN-（k ​​+ 1）+1の加数に対する成功の確率）。そして、パラメータ化$P\{S\}$$P'\{X_{k+1},...,X_N\} \approx P''\{\sum_{i=1,k}{X_i}=s' ; N-(k+1)+1=l\}$$\sum_{i=k+1,N}{X_i}$$P''\{\sum_{i=k,N}{X_i}=s' ; N-k+1=l\}= p_{s',l}$

（4）パラメータおよび基づくモデルにMLEを使用しますとのための（および任意）およびいくつかの他のネイティブの制約。$p_1,...,p_N$$p_{0,1}, p_{1,1}; p_{0,2}, p_{1,2}, p_{2,2};...$$p_{s',l}=0$$s' \ge 6$$l$

この計画で大丈夫ですか？

更新2

ポアソン分布（青）と比較した経験的分布（赤）の例（ポアソン平均は2.22および2.45、サンプルサイズは332および259）：$P\{S\}$

ポアソン平均が2.28および2.51のサンプル（A1、A2）の場合（サンプルサイズは303および249）：

結合されたsamlpe A1 + A2の場合（サンプルサイズは552）：

ポアソンのいくつかの修正が最良のモデルであるように見えます:)。

1つのアプローチは、一般化線形モデル（GLM）でをモデル化することです。ここでは、最近の観測履歴の（ロジスティック線形）関数として、番目の試行の成功確率であるを公​​式化します。つまり、本質的にノイズがベルヌーイでリンク関数がロジットである自己回帰GLMをフィッティングしています。設定は次のとおりです。$X$$p_i$$i$

$p_i = f(b + a_1 X_{i-1} + a_2 X_{i-2} + \ldots a_k X_{i-k})$、ここで

$f(x) = \frac{1}{1+\exp(x)}$、および

$X_i \sim Bernoulli(p_i)$

モデルのパラメーターはであり、ロジスティック回帰によって推定できます。（あなたがしなければならないのは、各試行で観測履歴の関連部分を使用して設計行列を設定し、それをロジスティック回帰推定関数に渡すだけです。対数尤度は凹型であるため、パラメーターに一意のグローバル最大値があります）。結果が実際に独立している場合、はゼロに設定されます。正のは、成功が観察されるたびに後続のが増加することを意味します。$\{b, a_1, \ldots a_k\}$$a_i$$a_i$$p_i$

モデルはの合計に対する確率の単純な式を提供しませんが、モデルは単純なマルコフ構造を持っているため、これはシミュレーション（粒子フィルタリングまたはMCMC）で簡単に計算できます。$X_i$

この種のモデルは、脳内のニューロンの「スパイク」間の時間依存性をモデル化するために大成功を収めて使用されており、自己回帰ポイントプロセスモデルに関する広範な文献があります。たとえば、Truccolo et al 2005を参照してください（ただし、この論文ではベルヌーイ尤度の代わりにポアソンを使用していますが、一方から他方へのマッピングは簡単です）。

依存性がクランプによるものである場合、複合ポアソンモデルがモデルとしてのソリューションになる可能性があります。多少ランダムな基準であり、これバーバーとChryssaphinouによる。$S_j$

完全に異なる方向では、が20であり、したがって比較的小さいことを示しているため、のグラフィカルモデルを構築することもできますが、セットアップとデータがそれを可能にするかどうかはわかりません。@chlコメントとして、何であるかを説明すると役立ちます。$N$$X_{ij}$$X_{i,j}$

場合のは、時間の経過とともに、例えば、シーケンシャル測定値を表し、依存性は、この第三の可能性に関連している-と一部に上記の二つの提案の間の妥協に延び-の隠れマルコフモデルを使用することをさん。$X_{i,j}$$X_{i,j}$