ポアソン分布を使用したプロセスのモデリングからネガティブ二項分布を使用するように切り替えますか？

$\newcommand{\P}{\mathbb{P}}$ 設定された期間複数回発生する可能性があるランダムプロセスがあります。このプロセスの既存のモデルからのデータフィードがあり、期間発生する多数のイベントの確率を提供します。この既存のモデルは古く、推定エラーのためにフィードデータでライブチェックを実行する必要があります。データフィードを生成する古いモデル（残りの発生するイベントの確率を提供している）は、ほぼポアソン分布です。 $T$ $0 \leq t < T$ $n$ $t$

そのため、異常/エラーをチェックするために、残り時間とし、残り時間発生するイベントの総数とします。古いモデルは、推定値意味します。したがって、という仮定では、次のようになります。古いモデル（observations）の出力からイベントレートを導出するには、状態空間アプローチを使用して、次のように状態関係をモデル化します $t$ $X_t$ $t$ $\P(X_t \leq c)$ $X_t\sim \operatorname{Poisson}(\lambda_{t})$

P (X_{t} \leq c) = e^{- λ} \sum_{k = 0}^{c} \frac{λ_{t}^{k}}{k!} .

$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$

λ_{t}

$\lambda_t$

y_{t}

$y_{t}$

y_{t} = λ_{t} + ε_{t} (ε_{t} \sim N (0, H_{t})) .

$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$ 進化に状態空間[一定速度減衰]モデルを使用して古いモデルから観測値をフィルター処理し、フィルター処理された状態を取得し、推定イベント頻度の異常/エラーにフラグを立てます。フィードのデータであれば。

λ_{t}

$\lambda_t$

E (λ_{t} | Y_{t})

$E(\lambda_t|Y_t)$

E (λ_{t} | Y_{t}) < y_{t}

$E(\lambda_t|Y_t) < y_t$

このアプローチは、全期間にわたって推定イベントカウントのエラーを検出するのに非常にうまく機能しますが、別の期間 where 。これを回避するために、負の二項分布を使用するように切り替えて、と仮定し、次のようにすると決定しました：ここでパラメータはおよび置き換えられます $T$ $0 \leq t < \sigma$ $\sigma < \frac{2}{3} T$ $X_t\sim NB(r, p)$

P （ {バツ}_{t} \leq c ） = p^{r} \sum_{k = 0}^{c} （ 1 - p ）^{k} （ \binom{k + r - 1}{r - 1} ） 、

$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$

λ

$\lambda$

r

$r$

p

$p$ 。これは実装するのが簡単なはずですが、私は解釈にいくつかの困難を抱えているので、私はあなたに助けて欲しいいくつかの質問があります：

1.負の二項分布に設定するだけで $p = \lambda$ いいですか？そうでない場合は、なぜですか？

2.我々が設定できると仮定すると、どのように正しく設定することができ、いくつかの機能である（我々がフィットする必要があります過去のデータセットを使用して）？ $p = f(\lambda)$ $f$ $r$ $r$

3. は $r$ 、特定のプロセス中に発生すると予想されるイベントの数に依存していますか？

$r$ （および $p$ ）の推定値を抽出するための補遺：

この問題が実際に逆転し、各プロセスのイベントカウントがある場合、および最尤推定量を採用できることを認識しています。もちろん、最尤推定量は、サンプル分散がサンプル平均よりも大きいサンプルに対してのみ存在しますが、これが当てはまる場合、独立した同一分布の観測の尤度関数を設定できます as：そこから対数尤度関数を次のように書くことができます： $r$ $p$ $N$ $k_1, k_2, \ldots, k_{N}$

L （ r 、 p ） = \prod_{私 = 1}^{N} P （ k_{私}; r 、 p ） 、

$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$

l （ r 、 p ） = \sum_{私 = 1}^{N} \ln （ Γ （ k_{私} + r ） ） - \sum_{私 = 1}^{N} \ln （ k_{私} ！ ） - N \ln （ Γ （ r ） ） + \sum_{私 = 1}^{N} k_{私} \ln （ p ） + N r \ln （ 1 - p ） 。

$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$ 最大値を見つけるには、とに関する偏微分を取り、それらをゼロに等しく設定します。設定および設定ようになります：

r

$r$

p

$p$

\begin{aligned} \partial_{r} l （ r 、 p ） & = \sum_{私 = 1}^{N} ψ （ k_{私} + r ） - N ψ （ r ） + N \ln （ 1 - p ） 、 \\ \partial_{p} l （ r 、 p ） & = \sum_{私 = 1}^{N} k_{私} \frac{1}{p} - N r \frac{1}{1 - p} 。 \end{aligned}

$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$

\partial_{r} l (r, p) = \partial_{p} l (r, p) = 0

$\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$

p = \sum_{i = 1}^{N} \frac{k_{i}}{(N r + \sum_{i = 1}^{N} k_{i})},

$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$

\partial_{r} l （ r 、 p ） = \sum_{私 = 1}^{N} ψ （ k_{私} + r ） - N ψ （ r ） + N \ln （ \frac{r}{r + \sum_{私 = 1}^{N} \frac{k_{私}}{N}} ） = 0。

$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$ この方程式は、ニュートンまたはEMを使用しても、閉じた形のrに対して解くことができません。ただし、この状況ではこれは当てはまりません。過去のデータを使用して静的およびを取得することはできますが、これは実際のプロセスではまったく使用されませんが、ポアソンを使用した場合と同様に、これらのパラメーターを時間内に調整する必要があります。

r

$r$

p

$p$

— ムーンナイト
ソース

データを単にポアソンまたは負の二項回帰モデルにプラグインしないのはなぜですか？

— StatsStudent

使用する必要があるとは思わない。ポアソンは負の二項分布の限定的なケースであることを念頭に置いて、ポアソンに対して行ったのと同様の方法でこの問題をパラメーター化する何らかの方法があるはずです。さらに、このプロセスは数千の異なるプロセスで同時に発生し、同じ「イベントレート」を持つものはありません。つまり、すべてのライブプロセスの新しい観測ごとにこれらのパラメーターの回帰分析を行う必要があります。これは現実的ではありません。私の質問とコメントを読んでくれてありがとう、それは最もありがたいことです

— ...-MoonKnight

ポアソンをNBにリンクするという点では、に隠し分散変数があり、と。これにより、を統合する際にわずかなNB分布が得られます。これを使用して支援することができます。

(X_{t} | λ_{t}, r_{t}, g_{t}) \sim P o i s (λ_{t} g_{t})

$(X_t|\lambda_t,r_t,g_t)\sim Pois (\lambda_tg_t)$

(g_{t} | r_{t}) \sim G a m m a (r_{t}, r_{t})

$(g_t|r_t)\sim Gamma (r_t,r_t)$

E (g_{t}) = 1

$E (g_t)=1$

v a r (g_{t}) = r_{t}^{- 1}

$var(g_t)=r_t^{-1}$

g_{t}

$g_t$

— 確率論的

それは大きな助けですが、これをもう少し具体化して、いくつかの明確な詳細を提供できますか？ご

— 清聴

負の二項式ではなく二項式を使用するのはどうですか？それはより簡単かもしれません。アンスコムFJ。ポアソン、二項および負の二項データの変換。バイオメトリカ。1948; 35：246-54。

— カール

負の二項分布は、二項確率モデルと非常によく似ています。次の仮定（条件）が成立する場合に適用されます1）一定の成功数（Cなど）が達成されるまで、同じ条件下で任意の実験が実行されます2）各実験の結果は、2つのカテゴリーのいずれかに分類できます、成功または失敗3）成功の確率Pは各実験40で同じです。各実験は他のすべての実験から独立しています。最初の条件は、二項と負の二項の間の唯一の重要な差別化要因です

— ヴィシュワ・ダルマ
ソース

ポアソン分布は、1）各試行の成功確率が非常に小さいなど、特定の条件下での二項式の合理的な近似値です。P-> 0 2）np = m（say）is finete統計学者が最もよく使用する規則は、nが20以上でpが5以下の場合、ポアソンは二項式の適切な近似であるということです。％

— ヴィシュワ・ダルマ
ソース