マルコフ連鎖が理論的な連鎖と等しいかどうかをテストする

経験的な遷移カウント行列Qがあります。理論的な1次のマルコフ連鎖Pがあります。Nは遷移の数です。QがPと互換性があるかどうかをテストしたいと思います。カイ二乗統計計算する理論的なカウント遷移行列（N * P）、次に自由度の分布のp値を計算します？ $\sum_{i,j}^{K} \frac{(Q_{ij}-(N*P_{ij}))^2}{N*P_{ij}}$ $\chi^2$ $K*(K-1)$

hypothesis-testing chi-squared markov-process

— ジョルジョ・スペディカート
ソース

私はカイ2乗検定についてはあまり詳しくありませんが、ざっと見てみると、多項データ（ここでは例）に一般的に使用されているようです。各行は多項分布に対応していると思いますか？したがって、行にを使用できます。つまり、「からの」遷移の数です。つまり、「」は開始状態によって変わる可能性がありますか？

P

$P$

n_{i}

$n_i$

i

$i$

i

$i$

N

$N$

— GeoMatt22

P_{i j} = Pr [j ∣ i], Q_{i j} = \sum_{t = 1}^{N} [x_{t} = i & x_{t + 1} = j]

$P_{ij}=\Pr[j\mid\!i] \,,\, Q_{ij}=\sum_{t=1}^N\big[x_t=i\,\&\,x_{t+1}=j\,\big]$

i

$i$

p_{i} = P_{i, :}, n_{i} = \sum_{j = 1}^{K} Q_{i j}

$p_i=P_{i,:} \,,\, n_i=\sum_{j=1}^{K}Q_{ij}$

「試行回数」は行ごとに異なるため、すべての行をまとめることができるかどうかはわかりません。

たとえば、とすると、データはです。つまり、遷移があり、はからのものですが、はからのみで、はです。したがって、信頼は、一般的に信頼よりも高くなると思います。 $K=3$ $x=[1,1,2,1,2,3,1,2]$ $N=7$ $n_1=4$ $x=1$ $n_2=2$ $x=2$ $n_3=1$ $x=3$ $\hat{p}_1$ $\hat{p}_3$

（極端な場合、おそらくこの例では、は実際にはでしたが、ように、これらの遷移に関するデータはまったくありません。「証拠の欠如」を「証拠の欠如」として扱うことは、ここでは問題のように思えます。） $K$ $4$ $n_4=0$

私はカイ2乗検定にはあまり詳しくありませんが、これは行を個別に処理することをお勧めします（つまり、合計のみを行い、ではなくを使用します）。この推論はカイ2乗検定に固有のものではないように思われるため、使用する可能性のある他の有意性検定（たとえば、正確な多項式）にも適用する必要があります。 $j$ $n_i$ $N$

重要な問題は、遷移確率が条件付きであるということです。そのため、各行列エントリには、その前提条件を満たす遷移のみが関連します。実際、おそらく遷移行列はを満たすため、「経験的遷移行列」はなるはずです。 $\sum_jP_{ij}=1$ $\hat{P}_{ij}=Q_{ij}/n_i$

更新： OPによるクエリへの応答として、「テストパラメーター」の説明。

ある場合状態は、マルコフ連鎖で、すなわち、次に行の、対応する多項分布は、確率ベクトルがありますと試行回数。 $K$ $P\in\mathbb{R}^{K\times{K}}$ $i$ $p_i\in\mathbb{R}^K$ $n_i\in\mathbb{N}$

したがって、カテゴリがあり、確率ベクトルは自由度を持ちます（。そう行の対応する統計量は次のようになりれるであろう漸近（こことここで述べたように）自由度で分布したカイ2乗に従います。テストが適切な場合の説明と、より適切な代替テストについては、こちらも参照してください。 $K$ $p_i$ $K-1$ $\sum_{j=1}^K(p_i)_j=1$ $i$ $\chi^2$

χ_{i}^{2} = \sum_{j} \frac{{(Q_{i j} - n_{i} P_{i j})}^{2}}{n_{i} P_{i j}}

$\chi^2_i=\sum_j\frac{\left(Q_{ij}-n_iP_{ij}\right)^2}{n_iP_{ij}}$

K - 1

$K-1$

χ^{2}

$\chi^2$

可能と仮定すると、「集中テスト」を行うことが可能持つカイ二乗分布は以下の（IEのDOFを加算自由度の行の上に）。ただし、を独立したものとして扱うことができるかどうかはません。いずれの場合も、行ごとのテストの方が有益であると思われるため、一括テストよりも望ましい場合があります。 $\chi^2_P=\sum_i\chi^2_i$ $K(K-1)$ $\chi^2_i$

— GeoMatt22
ソース

それを多項分布として扱う賢いアイデア。2つのカイ2乗変数の合計はカイ2乗であるため、各行の検定統計量をコンピューターで個別に計算し、合計して新しいカイ2乗検定統計量を得ることができます。これは自由度になります

N - K

$N-K$

— Hugh

@ヒュー私は評価するのに十分に精通していませんが、これは非常にまあまあかもしれません。私の主なポイントは、「一括」アプローチよりも「行ごと」アプローチが正当であり、より有益であるように見えるということでした。（副次的なポイントは、多項式のカイ2乗に関するすべての作業、たとえば漸近収束などが良い出発点になる可能性があることです。これらのトピックについて知っているすべては、CVの投稿をスキミングすることから今学んだので、それがすべてです。提供できます！）カイ二乗の側面に直接取り組む短い回答を投稿することを検討してください。

— GeoMatt22

@ GeoMatt22 ...では、カイ二乗検定がと等しい自由度の数がdtmcのサイズのNであっても大丈夫ですか？

N^{2} - N

$N^2-N$

— Giorgio Spedicato 2016

ジョルジョ、私のアップデートを見て。

— GeoMatt22 16

@ヒュー私の最新の答えを見てください。ことに注意してくださいウィキペディアは言う、「自由度は観測値の数に基づいていないことに留意すべきです」。「一括テスト」の自由度が正しいかどうかはわかりませんが、自由度がどこから来るのかはわかりません。何か説明はありますか？

K (K - 1)

$K(K-1)$

N - K

$N-K$

— GeoMatt22 16