自己相関のテスト：Ljung-Box対Breusch-Godfrey

35

生データまたはモデル残差の自己相関をテストするために非常に頻繁に使用されるLjung-Boxテストを見るのに慣れています。自己相関のための別のテスト、つまりBreusch-Godfreyテストがあることを忘れていました。

質問： Ljung-BoxとBreusch-Godfreyのテストの主な違いと類似点は何ですか？

（参考文献は歓迎されている。どういうわけか、私はどの見つけることができませんでした比較私はの説明を見つけることができた。私は、いくつかの教科書に見て、材料をオンラインで検索が二つの試験のを個別に各テストを、しかし、私は、ISに興味を持っています2つの比較。）

time-series hypothesis-testing autocorrelation

— リチャード・ハーディ
ソース

36

計量経済学のコミュニティには、自己回帰モデルからの残差に基づいた自己相関のテストに関するLjung-Box統計の有効性に反する強い声があります（リグレッサーマトリックスの遅延従属変数を使用）。特にMaddala（2001）を参照「計量経済学入門（3dエディション）、ch 6.7、および 13。5 p528。Maddalaは文字通りこのテストの広範な使用を嘆き、代わりに適切にBreuschとGodfreyの「Langrange Multiplier」テストを検討します。 $Q$

Ljung-Box検定に対するMaddalaの引数は、別の遍在する自己相関検定「Durbin-Watson」検定に対して提起されたものと同じです。リグレッサー行列の遅延従属変数では、検定は次の帰無仮説を維持するようにバイアスされます。「自己相関なし」（@javlacalleで得られたモンテカルロの結果は、この事実を暗示しています）。Maddalaは、テストの低出力についても言及しています。たとえば、Davies、N.および＆Newbold、P.（1979）を参照してください。時系列モデル仕様のポルトマントー検定のいくつかの力の研究。Biometrika、66（1）、153-155。

林（2000）、 ch。2.10「シリアル相関のテスト」は、統一された理論的分析を提示し、問題を明確にしていると思います。林は、ゼロから始まる：Ljung-ボックスの-statisticが漸近カイ二乗として配布される、それは場合でなければならないプロセス（何、そのサンプル自己相関我々は統計的に供給表します）自己相関がないという帰無仮説の下では、マルチンゲール差分シーケンス、つまり、 $Q$ $\{z_t\}$ $z$

E （ z_{t} ∣ z_{t - 1} 、 z_{t - 2} 、 。 。 。 ） = 0

$E(z_t \mid z_{t-1}, z_{t-2},...) = 0$

また、「独自の」条件付きホモスケスダクシティを示します

E （ z_{t}^{2} ∣ z_{t - 1} 、 z_{t - 2} 、 。 。 。 ） = σ^{2} > 0

$E(z^2_t \mid z_{t-1}, z_{t-2},...) = \sigma^2 >0$

これらの条件下では、Ljung-Box統計（元のBox-Pierce統計の修正された有限サンプルのバリアント）は、漸近的にカイ2乗分布を持ち、その使用には漸近的な正当化があります。 $Q$ $Q$

自己回帰モデルを指定したと仮定します（ラグ付き従属変数に加えて、独立したリグレッサーも含まれる可能性があります）。

y_{t} = {バツ}_{t}^{'} β + ϕ （ L ） y_{t} + {あなたは}_{t}

$y_t = \mathbf x_t'\beta + \phi(L)y_t + u_t$

ここで、は遅延演算子の多項式であり、推定の残差を使用してシリアル相関をテストする必要があります。したがって、ここではです。 $\phi(L)$ $z_t \equiv \hat u_t$

林は、残差のサンプル自己相関に基づくLjung-Box統計が自己相関なしの帰無仮説の下で漸近カイ二乗分布を持つためには、すべての回帰変数が「厳密に外因性」である必要があることを示しています「次の意味で誤差項に： $Q$

E （ {バツ}_{t} \cdot {あなたは}_{s} ） = 0 、 E （ y_{t} \cdot {あなたは}_{s} ） = 0 \forall t 、 s

$E(\mathbf x_t\cdot u_s) = 0 ,\;\; E(y_t\cdot u_s)=0 \;\;\forall t,s$

「すべての ために」は、ここで重要な要件であり、厳密な外因性を反映しています。また、リグレッサー行列に遅延従属変数が存在する場合は保持されません。これは簡単に見られます：を設定してから $t,s$ $s= t-1$

E [y_{t} {あなたは}_{t - 1}] = E [（ {バツ}_{t}^{'} β + ϕ （ L ） y_{t} + {あなたは}_{t} ） {あなたは}_{t - 1}] =

$E[y_t u_{t-1}] = E[(\mathbf x_t'\beta + \phi(L)y_t + u_t)u_{t-1}] =$

E [{バツ}_{t}^{'} β \cdot {あなたは}_{t - 1}] + E [ϕ （ L ） y_{t} \cdot {あなたは}_{t - 1}] + E [{あなたは}_{t} \cdot {あなたは}_{t - 1}] \neq 0

$E[\mathbf x_t'\beta \cdot u_{t-1}]+ E[\phi(L)y_t \cdot u_{t-1}]+E[u_t \cdot u_{t-1}] \neq 0$

場合でも、さんは、誤差項の独立しており、誤差項には、自己相関を有していない場合でも：用語ゼロではありません。 $X$ $E[\phi(L)y_t \cdot u_{t-1}]$

しかし、これは、Lung-Box統計が自己回帰モデルでは無効であることを証明します。これは、nullの下で漸近カイ二乗分布を持つとは言えないためです。 $Q$

今、厳密な外因性よりも弱い条件が満たされていると仮定します。

E （ {あなたは}_{t} ∣ {バツ}_{t} 、 {バツ}_{t - 1} 、 。 。 。 、 ϕ （ L ） y_{t} 、 {あなたは}_{t - 1} 、 {あなたは}_{t - 2} 、 。 。 。 ） = 0

$E(u_t \mid \mathbf x_t, \mathbf x_{t-1},...,\phi(L)y_t, u_{t-1}, u_{t-2},...) = 0$

この条件の強さは、厳密な外因性と直交性の「中間」です。誤差項の自己相関がないというヌルの下で、この条件は、ラグ付き従属変数に関して、自己回帰モデルによって「自動的に」満たされます（については、当然個別に仮定する必要があります）。 $X$

次に、残差サンプルの自己相関に基づく別の統計が存在します（Ljung-Boxの相関ではありません）。これは、nullの下で漸近カイ二乗分布を持ちます。この他の統計は、便宜上、「補助回帰」ルートを使用して計算できます。完全な行列と過去の残差（仕様で使用したラグまで）の残差を回帰します）、この補助回帰から非中心化取得し、サンプルサイズを掛けます。 $\{\hat u_t\}$ $R^2$

この統計は、「シリアル相関のBreusch-Godfrey検定」と呼ばれるもので使用されます。

そのため、リグレッサに遅延従属変数が含まれる場合（したがって、自己回帰モデルのすべてのケースでも）、Ljung-Boxテストは放棄され、Breusch-Godfrey LMテストが優先されます。、「パフォーマンスが悪い」からではなく、漸近的な正当性がないためです。特にユビキタスな存在と前者の応用から判断すると、非常に印象的な結果です。

更新：上記のすべてが「純粋な」時系列モデルにも適用されるかどうかに関するコメントで提起された疑問（「」リグレッサなし）に応えて、AR（1）モデルの詳細な調査を投稿しました。でhttps://stats.stackexchange.com/a/205262/28746。 $x$

— アレコスパパドプロス
ソース

アレコス、とても印象的です！素晴らしい説明！どうもありがとうございます！（多くの人が最終的にあなたの答えを読んで、彼らの仕事や研究でそれから利益を得ることを願っています。）

— リチャードハーディ

+1非常に興味深い。私の最初の推測は、ARモデルではBGテストの分布がゆがむ可能性があるということでしたが、あなたが説明し、シミュレーション演習が示唆したように、LBテストがより深刻な影響を受けます。

— javlacalle

あなたの答えの問題は、ARMAXのようなモデル、つまりリグレッサを扱っているという仮定に基づいているということです。ARのような純粋な時系列ではありません。

x_{t}

$x_t$

— アクサカル

1

@Aksakal、また、問題の一部は、焦点があちこちにジャンプしていることかもしれません。（1）どのテストが優れているか、（2）どのテストがどの仮定の下で機能するか、そして（3）どのテストがどのモデルで機能するか（異なるモデル仮定のため）の問題を分離する必要があります。後者はおそらく開業医にとって最も有用な質問です。たとえば、Alecosが示したことから、ARMAモデルの残差にはLBを使用しません。LBはARMAモデルの残差に使用できると主張していますか（現在、これは他のスレッドの中心的な質問でもあります）。

— リチャードハーディ

1

@Alexisそれは、ほんとうにうんざりするほどのコメントです。ありがとうございました。

— アレコスパパドプロス

12

推測

これらのテストを比較する研究については知りません。説明変数が従属変数の遅れであるARIMAモデルのような時系列モデルのコンテキストでは、Ljung-Boxテストがより適切であるとの疑いがありました。Breusch-Godfrey検定は、古典的な仮定が満たされる一般的な回帰モデル（特に外因性の回帰変数）により適しています。

私の推測では、Breusch-Godfreyテスト（通常の最小二乗法で近似された回帰の残差に依存します）の分布は、説明変数が外因性ではないという事実の影響を受ける可能性があります。

これを確認するために小さなシミュレーション演習を行いましたが、結果は逆を示しています。自己回帰モデルの残差の自己相関をテストする場合、Breusch-GodfreyテストはLjung-Boxテストよりも優れています。演習を再現または変更するための詳細とRコードを以下に示します。

小さなシミュレーション演習

Ljung-Box検定の典型的な用途は、近似されたARIMAモデルからの残差のシリアル相関を検定することです。ここでは、AR（3）モデルからデータを生成し、AR（3）モデルに適合させます。

残差は自己相関がないという帰無仮説を満たしているため、均一に分布したp値が期待されます。帰無仮説は、選択した有意水準（5％など）に近いケースの割合で拒否する必要があります。

Ljung-Boxテスト：

## Ljung-Box test
n <- 200 # number of observations
niter <- 5000 # number of iterations
LB.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  resid <- residuals(arima(x, order=c(3,0,0)))
  # Store p-value of the Ljung-Box for different lag orders
  LB.pvals[i,1] <- Box.test(resid, lag=1, type="Ljung-Box")$p.value
  LB.pvals[i,2] <- Box.test(resid, lag=2, type="Ljung-Box")$p.value
  LB.pvals[i,3] <- Box.test(resid, lag=3, type="Ljung-Box")$p.value
  LB.pvals[i,4] <- Box.test(resid, lag=4, type="Ljung-Box", fitdf=3)$p.value
}
sum(LB.pvals[,1] < 0.05)/niter
# [1] 0
sum(LB.pvals[,2] < 0.05)/niter
# [1] 0
sum(LB.pvals[,3] < 0.05)/niter
# [1] 0
sum(LB.pvals[,4] < 0.05)/niter
# [1] 0.0644
par(mfrow=c(2,2))
hist(LB.pvals[,1]); hist(LB.pvals[,2]); hist(LB.pvals[,3]); hist(LB.pvals[,4])

Ljung-Boxテストのp値

結果は、非常にまれなケースで帰無仮説が棄却されることを示しています。5％レベルの場合、拒否率は5％よりはるかに低くなります。p値の分布は、nullの非拒否へのバイアスを示しています。

原則fitdf=3として、すべての場合に編集を設定する必要があります。これにより、AR（3）モデルを近似して残差を取得した後に失われる自由度が考慮されます。ただし、次数が4未満のラグの場合、これは負または0の自由度につながり、テストを適用できなくなります。資料によると?stats::Box.test：これらの試験は、時々参照は設定することによって得られるヌル仮説分布に対する良好な近似を示唆し、その場合、ARMA（p、q）はフィットからの残差に適用されるfitdf = p+qそのコースを設け、lag > fitdf。

Breusch-Godfreyテスト：

## Breusch-Godfrey test
require("lmtest")
n <- 200 # number of observations
niter <- 5000 # number of iterations
BG.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  # create explanatory variables, lags of the dependent variable
  Mlags <- cbind(
    filter(x, c(0,1), method= "conv", sides=1),
    filter(x, c(0,0,1), method= "conv", sides=1),
    filter(x, c(0,0,0,1), method= "conv", sides=1))
  colnames(Mlags) <- paste("lag", seq_len(ncol(Mlags)))
  # store p-value of the Breusch-Godfrey test
  BG.pvals[i,1] <- bgtest(x ~ 1+Mlags, order=1, type="F", fill=NA)$p.value
  BG.pvals[i,2] <- bgtest(x ~ 1+Mlags, order=2, type="F", fill=NA)$p.value
  BG.pvals[i,3] <- bgtest(x ~ 1+Mlags, order=3, type="F", fill=NA)$p.value
  BG.pvals[i,4] <- bgtest(x ~ 1+Mlags, order=4, type="F", fill=NA)$p.value
}
sum(BG.pvals[,1] < 0.05)/niter
# [1] 0.0476
sum(BG.pvals[,2] < 0.05)/niter
# [1] 0.0438
sum(BG.pvals[,3] < 0.05)/niter
# [1] 0.047
sum(BG.pvals[,4] < 0.05)/niter
# [1] 0.0468
par(mfrow=c(2,2))
hist(BG.pvals[,1]); hist(BG.pvals[,2]); hist(BG.pvals[,3]); hist(BG.pvals[,4])

Breusch-Godfrey検定のp値

Breusch-Godfreyテストの結果はより賢明に見えます。p値は均一に分布し、棄却率は有意水準に近づきます（帰無仮説で予想されるとおり）。

— ジャヴァラッレ
ソース

1

素晴らしい仕事（いつものように）！についてLB.pvals[i,j]はどうでしょうか。3つの係数を持つAR（3）モデルが適合（）している場合、Ljung-Boxのテストはて意味がありますか？そうでない場合、のLjung-Boxテストの悪い結果は驚くことではありません。

j \in {1, 2, 3}

$j \in \{1,2,3\}$

j ⩽ 3

$j \leqslant 3$ fitdf=3

j \in {1, 2, 3}

$j \in \{1,2,3\}$

— リチャードハーディ

また、最初の段落であなたが言うことに関して：あなたはおそらくそれについて少し拡張してもらえますか？私はそこの声明を非常に重要だと思っていますが、詳細は欠けています。私は物事を「消化」するために、あまりにも多くを求めているかもしれませんが、それがあなたにとってそれほど難しくないなら、それを感謝します。

— リチャードハーディ

1

私の直感では、この問題は次のことと関係があるということです線形独立ランダム変数の合計はとして分布します。線形制限を持つ線形従属確率変数の合計は、として分布します。ときこれは誤った定義になっています。AR（）モデルからのモデル残差に対してLjung-Boxテストが使用されると、このようなことが起こると思います。

n

$n$

χ^{2} (1)

$\chi^2 (1)$

χ^{2} (n)

$\chi^2 (n)$

n

$n$

χ^{2} (1)

$\chi^2 (1)$

k

$k$

χ^{2} (n - k)

$\chi^2 (n-k)$

k ⩾ n

$k \geqslant n$

k

$k$

— リチャードハーディ

1

残差は独立していませんが、線形的に制限されています。まず、合計がゼロになります。第二に、それらの自己相関は最初のラグではゼロです。私が書いたばかりのことは正確ではないかもしれませんが、アイデアはそこにあります。また、私はLjung-Boxテストを適用すべきではないことを認識しており、ソースを覚えていないだけです。おそらく教授の講義で聞いたことがあります。Ruey S. Tsay、または彼の講義ノートでそれを読んでください。しかし、私は本当に...覚えていない

k

$k$ lag<fitdf

— リチャード・ハーディ

1

要するに、次数が4未満のラグに対して言うと、これは負または0の自由度につながり、テストを適用不能にします。異なるラグにテストを使用しないでください。自分のfitdf=0代わりに設定して続行するfitdf=3と、ごまかしている可能性があります。

— リチャードハーディ

2

グリーン（計量経済分析、第7版、963ページ、セクション20.7.2）：

「Godfrey-Breusch [GB]テストとBox-Pierce [BP]テストの本質的な違いは、前者では偏相関（および他の変数を制御）を使用し、後者では単純な相関を使用することです。、には自己相関がなく、いずれのイベントでもと相関はないため、2つのテストは漸近的に同等です。一方、条件にしないため、[BP]テストは、 [GB]直観が示唆するように、帰無仮説が偽である場合にテストします。 $X$ $e_t$ $x_t$ $e_s$ $x_t$

（質問はLjung-Boxについて質問し、上記はBox-Pierceを指していることを知っていますが、前者は後者の単純な改良であり、したがってGBとBPの比較はGBとLBの比較にも適用されます）

他の回答がより厳密な方法ですでに説明しているように、グリーンはまた、Ljung-Box対Godfrey-Breuschを使用することで得られるものはないかもしれません（計算効率以外は）が、失う可能性が高い（テストの有効性）と示唆しています

— カンダミール
ソース

0

Box-PierceおよびLjung-Boxテストは主に単変量テストであるように見えますが、時系列回帰の残差（MAまたはARプロセス）で線形構造が残されているかどうかをテストする場合、Bresch-Godfreyテストの背後にいくつかの仮定があります。

ディスカッションへのリンクは次のとおりです。

http://www.stata.com/meeting/new-orleans13/abstracts/materials/nola13-baum.pdf

— アナリスト
ソース

文法のせいで文の意味がよくわかりません。言い換えていただけますか？

— リチャードハーディ

0

テストの主な違いは次のとおりです。

Breusch-Godfrey検定は、（正しく指定された）尤度関数（および第一原理から）から導出されたラグランジュ乗数検定です。
Ljung-Boxテストは、定常プロセスの残差（したがって比較的アドホックな性質）の2次モーメントに基づいています。

Breusch-Godfreyテストは、一様に最も強力なテストと漸近的に同等のラグランジュ乗数テストです。それはそうかもしれないが、省略された回帰変数の対立仮説については、漸近的に最も強力なだけである（それらがラグ変数であるかどうかに関係なく）。Ljung-Boxテストの長所は、さまざまな対立仮説に対するその力かもしれません。

— bmbb
ソース