時系列のLjung-Boxテストで使用するラグの数は？

ARMAモデルが時系列に適合した後、Ljung-Box portmanteauテスト（他のテストの中でも）を介して残差を確認するのが一般的です。Ljung-Boxテストは、p値を返します。パラメータhがあり、これはテストするラグの数です。一部のテキストでは、h = 20の使用が推奨されています。他の人はh = ln（n）の使用を推奨します。ほとんどが何を言っていない時間を使用します。

hに単一の値を使用するのではなく、すべてのh <50 に対してLjung-Boxテストを行い、最小のp値を与えるhを選択するとします。そのアプローチは合理的ですか？長所と短所は何ですか？（明らかな欠点の1つは計算時間の増加ですが、ここでは問題ではありません。）これに関する文献はありますか？

少し詳しく説明します。...テストがすべてのhに対してp> 0.05を与える場合、明らかに時系列（残差）がテストに合格します。私の質問は、他の値ではなくhのいくつかの値に対してp <0.05の場合に検定を解釈する方法に関するものです。

答えは間違いなく次の要素に依存します：テストを実際に使用しようとしているのは何ですか？$Q$

一般的な理由は次のとおりです。多かれ少なかれあることを確信してラグをなし自己相関までの帰無仮説の共同統計的有意性についての（あるいはあなたが近くに何かを持っていると仮定して、弱い白色雑音）および構築するために倹約的なモデルを、少しとして持ちます可能なパラメーターの数。$h$

通常、時系列データには自然な季節パターンがあるため、実用的な経験則はをこの値の2倍に設定することです。もう1つは、予測のニーズにモデルを使用する場合の予測期間です。最後に、後の遅れでいくつかの重要な逸脱が見つかった場合は、修正について考えてみてください（これは、季節的な影響が原因であるか、外れ値のデータが修正されていない可能性があります）。$h$

hに単一の値を使用するのではなく、すべてのh <50に対してLjung-Boxテストを実行し、最小のp値を与えるhを選択するとします。

これは共同有意性検定であるため、の選択がデータ駆動型の場合、それがもちろんよりもはるかに小さいと仮定して、（あなたが言及したテストの）。シンプルでありながら関連性のあるモデルを見つけるために、以下で説明する情報基準を提案します。$h$$h$$n$

私の質問は、他の値ではなく、いくつかの値について場合、テストをどのように解釈するかに関するものです。$p<0.05$$h$

そのため、それは現在からどれだけ離れているかに依存します。遠く離れたデメリット：推定するパラメーターが増え、自由度が低くなり、モデルの予測力が低​​下します。

出発が発生するラグでMAおよび/またはARパーツを含むモデルを推定し、さらに情報基準（サンプルサイズに応じてAICまたはBICのいずれか）を調べてみてください。これにより、どのモデルがより多くの洞察が得られますpar約。ここでは、サンプル外の予測演習も歓迎します。

すべての通常のプロパティを使用して、単純なAR（1）モデルを指定すると仮定します。

$$y_t = \beta y_{t-1} + u_t$$

エラー項の理論的共分散を次のように示します

$$\gamma_j \equiv E(u_tu_{t-j})$$

エラー項を観察できる場合、エラー項のサンプル自己相関は次のように定義されます。

$$\tilde \rho_j \equiv \frac {\tilde \gamma_j}{\tilde \gamma_0}$$

どこで

$$\tilde\gamma_j \equiv \frac 1n \sum_{t=j+1}^nu_tu_{t-j},\;\;\; j=0,1,2...$$

しかし、実際には、エラー用語は観察されません。したがって、誤差項に関連するサンプルの自己相関は、推定からの残差を使用して推定されます。

$$\hat\gamma_j \equiv \frac 1n \sum_{t=j+1}^n\hat u_t\hat u_{t-j},\;\;\; j=0,1,2...$$

Box-Pierce Q統計（Ljung-Box Qは、漸近的に中立なスケーリングバージョンです）

$$Q_{BP} = n \sum_{j=1}^p\hat\rho^2_j = \sum_{j=1}^p[\sqrt n\hat\rho_j]^2\xrightarrow{d} \;???\;\chi^2(p)$$

問題は、このモデルでが漸近的にカイ2乗分布（誤差項のオートコレレーションのヌルの下）を持つと言えるかどうかです。 これを実現するために、$Q_{BP}$
漸近的に標準正規でなければなりません。これを確認する方法は、$\sqrt n \hat\rho_j$同様の漸近分布を有する$\sqrt n \hat\rho$（真のエラーを使用して構築し、そう帰無仮説の下で所望の漸近挙動を有しています）。$\sqrt n \tilde\rho$

私たちはそれを持っています

$$\hat u_t = y_t - \hat \beta y_{t-1} = u_t - (\hat \beta - \beta)y_{t-1}$$

どこβは、一貫性の推定量です。そう$\hat \beta$

$$\hat\gamma_j \equiv \frac 1n \sum_{t=j+1}^n[u_t - (\hat \beta - \beta)y_{t-1}][u_{t-j} - (\hat \beta - \beta)y_{t-j-1}]$$

$$=\tilde \gamma _j -\frac 1n \sum_{t=j+1}^n (\hat \beta - \beta)\big[u_ty_{t-j-1} +u_{t-j}y_{t-1}\big] + \frac 1n \sum_{t=j+1}^n(\hat \beta - \beta)^2y_{t-1}y_{t-j-1}$$

サンプルは定常的でエルゴード的であると想定され、モーメントは目的の順序まで存在すると想定されます。推定ので、βが一致している2つの合計がゼロに行くのは、これは十分にあります。結論$\hat \beta$

$$\hat \gamma_j \xrightarrow{p} \tilde \gamma_j$$

これは、

$$\hat \rho_j \xrightarrow{p} \tilde \rho_j \xrightarrow{p} \rho_j$$

しかし、これは自動的に収束に $\sqrt n \hat \rho_j$$\sqrt n\tilde \rho_j$（配布中）（変換は確率変数に適用されるので、定理が、ここでは適用されない連続マッピングがに依存していることだと思う）。これを実現するには、次のものが必要です$n$

$$\sqrt n \hat \gamma_j \xrightarrow{d} \sqrt n \tilde \gamma_j$$

（分母それは私たちの問題に中立であるように、-tildeまたはHAT-は、両方のケースで誤差項の分散に収束します）。$\gamma_0$

我々は持っています

$$\sqrt n \hat \gamma_j =\sqrt n\tilde \gamma _j -\frac 1n \sum_{t=j+1}^n \sqrt n(\hat \beta - \beta)\big[u_ty_{t-j-1} +u_{t-j}y_{t-1}\big] \\+ \frac 1n \sum_{t=j+1}^n\sqrt n(\hat \beta - \beta)^2y_{t-1}y_{t-j-1}$$

したがって、問題は次のとおりです。これらの2つの合計を行い、今では√を掛けます、確率がゼロになるため、 √が残ります。$\sqrt n$漸近？$\sqrt n \hat \gamma_j =\sqrt n\tilde \gamma _j$

2番目の合計については

$$\frac 1n \sum_{t=j+1}^n\sqrt n(\hat \beta - \beta)^2y_{t-1}y_{t-j-1} = \frac 1n \sum_{t=j+1}^n\big[\sqrt n(\hat \beta - \beta)][(\hat \beta - \beta)y_{t-1}y_{t-j-1}]$$

以来確率変数に収束し、 βは一貫している、これはゼロになります。$[\sqrt n(\hat \beta - \beta)]$$\hat \beta$

最初の合計については、ここにもあります確率変数に収束し、その我々が持っているので、 $[\sqrt n(\hat \beta - \beta)]$

$$\frac 1n \sum_{t=j+1}^n \big[u_ty_{t-j-1} +u_{t-j}y_{t-1}\big] \xrightarrow{p} E[u_ty_{t-j-1}] + E[u_{t-j}y_{t-1}]$$

The first expected value, $E[u_ty_{t-j-1}]$ is zero by the assumptions of the standard AR(1) model. But the second expected value is not, since the dependent variable depends on past errors.

So $\sqrt n\hat \rho_j$ won't have the same asymptotic distribution as $\sqrt n\tilde \rho_j$. But the asymptotic distribution of the latter is standard Normal, which is the one leading to a chi-squared distribution when squaring the r.v.

Therefore we conclude, that in a pure time series model, the Box-Pierce Q and the Ljung-Box Q statistic cannot be said to have an asymptotic chi-square distribution, so the test loses its asymptotic justification.

This happens because the right-hand side variable (here the lag of the dependent variable) by design is not strictly exogenous to the error term, and we have found that such strict exogeneity is required for the BP/LB Q-statistic to have the postulated asymptotic distribution.

Here the right-hand-side variable is only "predetermined", and the Breusch-Pagan test is then valid. (for the full set of conditions required for an asymptotically valid test, see Hayashi 2000, p. 146-149).

Before you zero-in on the "right" h (which appears to be more of an opinion than a hard rule), make sure the "lag" is correctly defined.

http://www.stat.pitt.edu/stoffer/tsa2/Rissues.htm

Quoting the section below Issue 4 in the above link:

"....The p-values shown for the Ljung-Box statistic plot are incorrect because the degrees of freedom used to calculate the p-values are lag instead of lag - (p+q). That is, the procedure being used does NOT take into account the fact that the residuals are from a fitted model. And YES, at least one R core developer knows this...."

Edit (01/23/2011): Here's an article by Burns that might help:

http://lib.stat.cmu.edu/S/Spoetry/Working/ljungbox.pdf

The thread "Testing for autocorrelation: Ljung-Box versus Breusch-Godfrey" shows that the Ljung-Box test is essentially inapplicable in the case of an autoregressive model. It also shows that Breusch-Godfrey test should be used instead. That limits the relevance of your question and the answers (although the answers may include some generally good points).

Escanciano and Lobato constructed a portmanteau test with automatic, data-driven lag selection based on the Pierce-Box test and its refinements (which include the Ljung-Box test).

The gist of their approach is to combine the AIC and BIC criteria --- common in the identification and estimation of ARMA models --- to select the optimal number of lags to be used. In the introduction of they suggest that, intuitively, ``test conducted using the BIC criterion are able to properly control for type I error and are more powerful when serial correlation is present in the first order''. Instead, tests based on AIC are more powerful against high order serial correlation. Their procedure thus choses a BIC-type lag selection in the case that autocorrelations seem to be small and present only at low order, and an AIC-type lag section otherwise.

The test is implemented in the R package vrtest (see function Auto.Q).

The two most common settings are $\min(20,T-1)$ and $\ln T$ where $T$ is the length of the series, as you correctly noted.

The first one is supposed to be from the authorative book by Box, Jenkins, and Reinsel. Time Series Analysis: Forecasting and Control. 3rd ed. Englewood Cliffs, NJ: Prentice Hall, 1994.. However, here's all they say about the lags on p.314:

It's not a strong argument or suggestion by any means, yet people keep repeating it from one place to another.

The second setting for a lag is from Tsay, R. S. Analysis of Financial Time Series. 2nd Ed. Hoboken, NJ: John Wiley & Sons, Inc., 2005, here's what he wrote on p.33:

Several values of m are often used. Simulation studies suggest that the choice of m ≈ ln(T ) provides better power performance.

This is a somewhat stronger argument, but there's no description of what kind of study was done. So, I wouldn't take it at a face value. He also warns about seasonality:

This general rule needs modification in analysis of seasonal time series for which autocorrelations with lags at multiples of the seasonality are more important.

Summarizing, if you just need to plug some lag into the test and move on, then you can use either of these setting, and that's fine, because that's what most practitioners do. We're either lazy or, more likely, don't have time for this stuff. Otherwise, you'd have to conduct your own research on the power and properties of the statistics for series that you deal with.

UPDATE.

Here's my answer to Richard Hardy's comment and his answer, which refers to another thread on CV started by him. You can see that the exposition in the accepted (by Richerd Hardy himself) answer in that thread is clearly based on ARMAX model, i.e. the model with exogenous regressors $x_t$:

$$y_t = \mathbf x_t'\beta + \phi(L)y_t + u_t$$

However, OP did not indicate that he's doing ARMAX, to contrary, he explicitly mentions ARMA:

After an ARMA model is fit to a time series, it is common to check the residuals via the Ljung-Box portmanteau test

One of the first papers that pointed to a potential issue with LB test was Dezhbaksh, Hashem (1990). “The Inappropriate Use of Serial Correlation Tests in Dynamic Linear Models,” Review of Economics and Statistics, 72, 126–132. Here's the excerpt from the paper:

As you can see, he doesn't object to using LB test for pure time series models such as ARMA. See also the discussion in the manual to a standard econometrics tool EViews:

If the series represents the residuals from ARIMA estimation, the appropriate degrees of freedom should be adjusted to represent the number of autocorrelations less the number of AR and MA terms previously estimated. Note also that some care should be taken in interpreting the results of a Ljung-Box test applied to the residuals from an ARMAX specification (see Dezhbaksh, 1990, for simulation evidence on the finite sample performance of the test in this setting)

Yes, you have to be careful with ARMAX models and LB test, but you can't make a blanket statement that LB test is always wrong for all autoregressive series.

UPDATE 2

Alecos Papadopoulos's answer shows why Ljung-Box test requires strict exogeneity assumption. He doesn't show it in his post, but Breusch-Gpdfrey test (another alternative test) requires only weak exogeneity, which is better, of course. This what Greene, Econometrics, 7th ed. says on the differences between tests, p.923:

The essential difference between the Godfrey–Breusch and the Box–Pierce tests is the use of partial correlations (controlling for X and the other variables) in the former and simple correlations in the latter. Under the null hypothesis, there is no autocorrelation in εt , and no correlation between $x_t$ and $\varepsilon_s$ in any event, so the two tests are asymptotically equivalent. On the other hand, because it does not condition on $x_t$ , the Box–Pierce test is less powerful than the LM test when the null hypothesis is false, as intuition might suggest.

... h should be as small as possible to preserve whatever power the LB test may have under the circumstances. As h increases the power drops. The LB test is a dreadfully weak test; you must have a lot of samples; n must be ~> 100 to be meaningful. Unfortunately I have never seen a better test. But perhaps one exists. Anyone know of one ?

Paul3nt

There's no correct answer to this that works in all situation for the reasons other have said it will depend on your data.

That said, after trying to figure out to reproduce a result in Stata in R I can tell you that, by default Stata implementation uses: $\mathrm{min}(\frac{n}{2}-2, 40)$。データポイント数の半分から2を引いた数、または40のいずれか小さい方。

もちろん、デフォルトはすべて間違っており、状況によっては間違いがあります。多くの場合、これは開始するのに悪い場所ではないかもしれません。

Rパッケージhwwntestを提案します。チューニングパラメータを必要とせず、良好な統計サイズとパワーを持つウェーブレットベースのホワイトノイズテストを実装しています。

さらに、最近、ロブ・ヒンドマンのトピックに関する優れた議論である「Ljung-Boxテストに関する考察」を発見しました。

更新：ARMAXに関するこのスレッドでの別の議論を考慮すると、hwwntestを見るもう1つの動機は、ARMA（p、q）モデルの対立仮説に対するテストの1つの理論的なべき関数の可用性です。