ベイジアンオンラインチェンジポイント検出（マージナル予測分布）

私は、AdamsとMacKayによるベイジアンのオンラインチェンジポイント検出ペーパー（リンク）を読んでいます。

著者は限界予測分布を書くことから始めます：ここで

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} | r_{t}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) (1)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$

$x_t$ は時間での観測です。 $t$
$\textbf{x}_{1:t}$ は、時刻までの一連の観測を示します。 $t$
$r_t \in \mathbb{N}$ は現在のランレングスです（最後の変化点からの時間。0でもかまいません）。そして
$\textbf{x}_t^{(r)}$ は、実行関連付けられた観測値のセットです。 $r_t$

Eq。1は正式に正しい（@JuhoKokkalaによる以下の返信を参照）が、について実際に予測したい場合は、次のように展開する必要があると理解しています。 $x_{t+1}$

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}, r_{t + 1}} P (x_{t + 1} | r_{t + 1}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) P (r_{t + 1} | r_{t}) (1 b)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$

私の推論では、（将来の）時間に変化点がある可能性がありますが、事後はまでしかカバーしません。 $t+1$ $P(r_t | \textbf{x}_{1:t})$ $t$

重要なのは、この論文の著者が方程式を利用することです。1はそのままで（論文の式3と11を参照）、1b ではありません。したがって、時間利用可能なデータから予測する場合、時間での変化点の可能性を無視しているようです。セクション2の初めに、彼らはen passantと言います $t+1$ $x_{t+1}$ $t$

与えられたランレングス条件として[ ] 予測分布を計算できると仮定します。 $x_{t+1}$ $r_t$

おそらくそこに秘訣があります。しかし、一般的に、この予測分布は次のようになります。1b; これは彼らがしていることではない（Eq。11）。

だから、何が起こっているのかよくわかりません。おそらく、この記法で何かおかしいことが起こっています。

参照

Adams、RP、およびMacKay、DJ（2007）。ベイジアンオンライン変化点検出。arXivプレプリント arXiv：0710.3742。

— ラセルビ
ソース

潜在的な説明は、が時間ステップ終了時のランレングスを表すということです。これは、時間変化点の後です。これにより、Eq。1は理にかなっています。実際、アルゴリズムの初期化の1つは、を設定することです。これは、での開始の直前に変化点があると想定しています。ただし、図1は、図1aに示すようにと間、およびと間に変化点がある場合、間違っている（または少なくとも誤解を招く）ので、および

r_{t}

$r_t$

t

$t$

t

$t$

P (r_{0} = 0) = 1

$P(r_0 =0) = 1$

t = 1

$t=1$

t = 4

$t =4$

t = 5

$t=5$

t = 10

$t=10$

t = 11

$t=11$

r_{4}

$r_4$

r_{10}

$r_{10}$ この表記によれば0でなければならず、図1bのようにおよびではありません。

r_{5}

$r_5$

r_{11}

$r_{11}$

— lacerbi 2016

Eqで何か奇妙なことが起こっています。3は、最後の行の加数の中間因子が、はが含まれていると思いました。が理にかなっているので、とが入れ替わったのではないかと思います。Eq。11、右辺は左辺にはまったく出てこないに依存しているようですので、何かおかしいか、表記が全くわかりません。

P (x_{t} ∣ r_{t - 1}, x_{t}^{(r)})

$P(x_t \mid r_{t-1}, x^{(r)}_t)$

x_{t}^{(r)}

$x^{(r)}_t$

x_{t}

$x_t$

t

$t$

t - 1

$t-1$

P (x_{t} ∣ r_{t}, x_{t - 1}^{(r)})

$P(x_t \mid r_t, x^{(r)}_{t-1})$

x_{t}^{(r)}

$x_t^{(r)}$

— Juho Kokkala

@JuhoKokkala：私がその気持ちを持っているのは私だけではないことを嬉しく思います...

— lacerbi

@lacerbi、私はこのペーパーについて別の質問があります。あなたはその仕事に精通しているように見えるので、あなたはそれに答えられるかもしれないと思います：stats.stackexchange.com/questions/419988。

— gwg

（1）と（1b）の両方が正しい。OPは（このモデルでは）変更点がある可能性があり、は変更点があるかどうかによって異なります。これは、の可能な値がによって完全に「カバー」されるため、（1）の問題を意味するものではありません。は、条件とする条件付き分布を意味します。この条件付き分布は、条件とするを含む「その他すべて」の平均です。たとえば、と書くことができます。 $t+1$ $x_{t+1}$ $r_{t+1}$ $P(x_{t+1} \mid r_t, x_{1:t})$ $P(x_{t+1} | r_t, x_{1:t})$ $x_{t+1}$ $(r_t, x_{1:t})$ $r_{t+1}$ $(r_t, x_{1:t})$ $P(x_{t+1000} | x_t)$ 、だけでなく、として考慮にchangepointsのすべての可能な構成を取ることになるの値の発生の間と。 $x_i$ $t$ $t+1000$

残りの部分では、最初に（1）を導出し、次に（1b）を（1）に基づいて導出します。

（1）の導出

任意の確率変数、次のようになります。は、が離散である限り（そうでない場合、合計を積分で置き換える必要があります）。これを： $A,B,C$

P (A ∣ B) = \sum_{c} P (A ∣ B, C = c) P (C = c ∣ B),

$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$

C

$C$

x_{t + 1}, x_{1 : t}, r_{t}

$x_{t+1},x_{1:t},r_t$

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{1 : t}) P (r_{t} ∣ x_{1 : t}),

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$ は、、、間の依存関係が何であっても保持します。つまり、モデルの仮定はまだありません使用されました。本モデルでは、所与 *の値の条件付き独立であると仮定される前の実行から。これは、意味します。これを前の方程式に代入すると、

r_{t}

$r_t$

x_{1 : t}

$x_{1:t}$

x_{t + 1}

$x_{t+1}$

x_{t + 1}

$x_{t+1}$

r_{t}, x_{t}^{(r)}

$r_t,x^{(r)}_t$

x

$x$

x_{t}^{(r)}

$x^{(r)}_t$

P (x_{t + 1} ∣ r_{t}, x_{1 : t}) = P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)})

$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) P (r_{t} ∣ x_{1 : t}), (1)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$ これはOPでは（1）です。

（1b）の導出

$P(x_{t+1} \mid r_t, x^{(r)}_t)$ $r_{t+1}$

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, r_{t}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}, x_{t}^{(r)}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$

$t+1$ $x_t$ $x_{t+1}$ $x$ $P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$ $r_{t+1}$ $x_{t+1}$ $x_t$ $P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$ これを（1）に代入すると、これはOP（1b）です。

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} (\sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t})) P (r_{t} ∣ x_{1 : t}), (1 b)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$

*モデルの条件付き独立性仮定に関する注釈

論文をすばやく閲覧することに基づいて、私は条件付き独立プロパティをどこかでより明確に述べたいと思いますが、意図は、がマルコビアンであり、異なる実行に関連付けられている：sが独立している（実行が与えられている）と想定しています。 $r$ $x$

— ジュホコッカラ
ソース

（+1）ありがとう。はい、もちろん、私はその式を理解しています。1は、に対する暗黙的な周辺化を想定している場合、正式に正しいです。問題は、後で著者が予測を行い（論文の式11、暗黙的に式3）、それらがをするように見えることです。

r_{t + 1}

$r_{t+1}$

r_{t + 1}

$r_{t+1}$

— lacerbi 2016

ああ。それから私は質問を誤解したようです-これを削除するべきですか？質問を明確にしたいと思うかもしれませんが、現在（1）は（おそらく役に立たないのではなく）どういうわけか間違っているようです

— Juho Kokkala

この回答は大切に保管してください。元の投稿では十分に明確ではなかった私の間違い。私はあなたのコメントのおかげで私の質問を明確にしようとしましたが、それでもこの回答を意味のあるものにしました。

— lacerbi 2016