まれなイベントの発生率を高めるための統計的検定

20年間にわたる希少疾患の発生率に関する2500人のシミュレーションデータを以下に示します

year number_affected
1   0
2   0
3   1
4   0
5   0
6   0
7   1
8   0
9   1
10  0
11  1
12  0
13  0
14  1
15  1
16  0
17  1
18  0
19  2
20  1

病気がより一般的になっていることを示すためにどのような検査を適用できますか？

編集：@Wrzlprmftで提案されているように、SpearmanとKendallのメソッドを使用して簡単な相関を試みました：

        Spearman's rank correlation rho

data:  year and number_affected
S = 799.44, p-value = 0.08145
alternative hypothesis: true rho is not equal to 0
sample estimates:
      rho 
0.3989206 

Warning message:
In cor.test.default(year, number_affected, method = "spearman") :
  Cannot compute exact p-value with ties
> 



        Kendall's rank correlation tau

data:  year and number_affected
z = 1.752, p-value = 0.07978
alternative hypothesis: true tau is not equal to 0
sample estimates:
      tau 
0.3296319 

Warning message:
In cor.test.default(year, number_affected, method = "kendall") :
  Cannot compute exact p-value with ties

これらはこのタイプのデータに十分適していますか？@AWebbで示される方法を使用したマンケンドール検定では、P値は[1] 0.04319868になります。@dsaxtonによって提案されたポアソン回帰は、次の結果をもたらします。

Call:
glm(formula = number_affected ~ year, family = poisson, data = mydf)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-1.3187  -0.8524  -0.6173   0.5248   1.2158  

Coefficients:
            Estimate Std. Error z value Pr(>|z|)  
(Intercept) -1.79664    0.85725  -2.096   0.0361 *
year         0.09204    0.05946   1.548   0.1217  
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for poisson family taken to be 1)

    Null deviance: 16.636  on 19  degrees of freedom
Residual deviance: 14.038  on 18  degrees of freedom
AIC: 36.652

Number of Fisher Scoring iterations: 5

ここの年コンポーネントは重要ではありません。最終的に何を結論付けることができますか？また、これらすべての分析では、2500（分母母数）は使用されていません。その数は違いを生みませんか？年ごとの発生率（number_affected / 2500）を使用した単純な線形回帰（ガウス）を使用できますか？

time-series hypothesis-testing trend

— rnso
ソース

役立つと思われるいくつかのリソース：米国地質調査所は、オンラインのテキストリソース「Statistics Methods in Water Resources」をテキストで公開しています。ここでは、傾向分析に関する章で、マンケンダル検定のようなものと、代わりに回帰分析を行うほうがよい場合について説明します。また、データが年次ではなく四半期である場合に関連する可能性がある季節性への対処方法も示します。

— Silverfish 2015

興味深いことに、ケンドールのτのScipyの実装では、同じ係数が得られますが、p値は大きく異なります。つまり、0.042です。

— Wrzlprmft 2015

ポアソンモデルに関しては、ポアソン統計でdrop1(fit, test="LRT")漸近z検定を行う代わりに、代わりに尤度比検定を行うために使用します。（そうすることで、0.107のp値が得られますが、統計的に有意ではありません。）人口数が毎年同じである場合、回帰に人口数を含める必要はありません。次に、それはスケーリング係数の役割を果たすだけです。ただし、リスクのある人口はおそらく20年間で変化するため、これを（1年あたりの人口値とともに）含める必要があります。通話に追加offset=log(pop_at_risk)するだけglmです。

— Karl Ove Hufthammer、2015

回答:

ノンパラメトリックなMann-Kendall検定を使用できます。このサンプルデータcasesと、増加傾向がないという片側帰無仮説の場合、rに次のように実装できます。

> n<-length(cases)
> d<-outer(cases,cases,"-")
> s<-sum(sign(d[lower.tri(d)]))
> ties<-table(cases)
> v<-1/18*(n*(n-1)*(2*n+5)-sum(ties*(ties-1)*(2*ties+5)))
> t<-sign(s)*(abs(s)-1)/sqrt(v)
> 1-pnorm(t)
[1] 0.04319868

そして、増加傾向を支持して5％レベルで拒否します。

— A.ウェッブ
ソース

Mann-Kendall検定とケンドールのτの通常の有意性検定の間に違いがあるかどうかを知っていますか？あるいは、マン・ケンドール検定は、ケンドールのτの有意値を取得する通常の方法ですか？少なくとも検定統計量は、時系列の長さにのみ依存する正規化係数が異なるだけです：

S = \frac{1}{2} n (n - 1) τ .

$S = \tfrac{1}{2} n (n-1) τ.$

— Wrzlprmft 2015

@Wrzlprmftこれは、同順位が存在する場合の典型的な正規近似有意性検定です。Wikipediaの記事は、ネクタイを考慮するために必要な各種の調整のための良い情報/参照を持っています。

— A.ウェッブ

切片と時間成分のみで構成される非常に単純な回帰モデルを適合させ、時間成分の「有意性」をテストできます。たとえば、 Poissonモデルする場合があります。ここで、は年の出現回数であり、あり、かどうかを確認し。 $Y_t \sim$ $(\lambda_t)$ $Y_t$ $t$ $\log(\lambda_t) = \alpha + \beta t$ $\beta > 0$

— DSAXTON
ソース

ポアソン回帰が適切であることに同意します。さらに多くのデータがあれば、時間の非線形関数として（ログ）発生率を当てはめることもできます。ポアソン回帰の追加の利点は、リスクのある人の数を考慮に入れるのが簡単なことです。1は時間を扱っていたときに、これは、特に重要である私たちがしているシーイングがちょうど増加の効果であってもよいこと発生率の（可能な）傾向としてリスクの人口ではなく、増加発症率。（たとえば、世界の人口は過去20年間で4分の1増加しています。）

— Karl Ove Hufthammer

新しいケースの数（つまりnumber_affected）が時間（つまり）と有意に相関しているかどうかを確認してくださいyear。イベントレートの可能な線形依存性は少なくとも観測の離散化にゆがめられているため、ランクベースの相関係数、たとえばケンダルのτまたはスピアマンのρを使用する必要があります。

— Wrzlprmft
ソース

実際に発生率を意味しました。つまり、number_affectedはその年の新しい症例を示しています。しかし、単純な相関のあなたの方法はそのためにも機能するはずです。

— rnso

@rnso：実際に発生率を意味します。つまり、number_affectedはその年の新しい症例を示します。–それが私が理解した方法であり、矛盾はありません。

— Wrzlprmft 2015

回答に「有病率」という言葉を使用したので、私はそのコメントをしました。有病率には、前年度の症例も含まれます（死亡していない場合を除く）。en.wikipedia.org/wiki/…–

— rnso

@rnso：ああ、要点。

— Wrzlprmft

ケンダルズのτやスピアマンのρなどの相関測定はランダム変数に対して作成されるため、適切ではなく、変数（時間）の1つは明らかにランダムではありません。たとえば、「相関のある回帰サンプリング方式を要約しないでください」を参照してください。さらに、データには大量の結合があるため、ケンダルズのτまたはスピアマンのρ 検定はあまりうまく機能しません。ポアソン回帰（適切なトレンド関数を使用）や尤度比検定など、回帰アプローチの方が優れています。

— Karl Ove Hufthammer、2015