「ポリシー」の変更による時系列データの大幅な変更を検出する方法


15

これがこれを投稿するのにふさわしい場所であることを願っています。懐疑論者に投稿することを検討しましたが、研究が統計的に間違っていると彼らは言うだろうと思います。どのようにそれを正しく行うかという質問の裏側に興味があります。

ウェブサイトQuantified Selfで、著者は、時間の経過とともに自分自身で測定され、コーヒーを飲むのを突然止める前後で比較された出力のメトリックの実験結果を投稿しました。結果は主観的に評価され、著者は時系列に変化があり、それが政策の変化に関連しているという証拠があると信じていました(コーヒーを飲む)

これが私に思い出させるのは、経済のモデルです。経済は1つしかありません(現時点では重要です)。そのため、エコノミストは基本的にn = 1の実験を行っています。このため、データは時間の経過とともにほぼ確実に自己相関します。経済学者は一般的に、FRBが政策を開始するのを見ており、潜在的に政策のために時系列が変化したかどうかを判断しようとしています。

時系列がデータに基づいて増加または減少したかどうかを判断するための適切なテストは何ですか?どのくらいのデータが必要ですか?どのツールが存在しますか?私の最初のグーグルはマルコフ切り替え時系列モデルを示唆していますが、私のグーグルのスキルでは、テクニックの名前だけで何かをするのに失敗するわけではありません。

回答:


4

Jasonが言及したBox-Tiaoの論文は、既知の法改正に基づいています。ここでの質問は、その時点を検出する方法です。答えは、Tsay手順を使用して、脈拍、レベルシフト、季節的脈拍、および/または現地時間の傾向による介入を検出することです。


1

構造破壊に関するいくつかの古いメモを見ると、次の2つの引用があります。

エンダー、「応用計量経済時系列」、第2版、ch。5。

エンダーは、介入、パルス機能、段階的変化機能、伝達機能などについて説明します。この記事も参考になります。

Box、GEP、GC Tiao。1975.「経済および環境問題への応用による介入分析」。米国統計学会誌70:70-79。


1

変化点モデルを使用してから、ギブスサンプリングなどのMCMCアルゴリズムを使用して変化点を特定することはできませんでしたか?

データの完全な事前配布または完全な条件付き配布(ギブスの場合)がある場合、これは比較的簡単に実装できます。

ここで簡単な概要を見つけることができます


1

すべての時点を変更点候補(ブレークポイント、別名構造変化)として検討している場合、strucchangeパッケージは非常に優れたオプションです。

特定のシナリオでは、候補時点は1つだけのようです。この場合、いくつかの簡単なオプションが思い浮かびます。

  1. T検定:「終了前」と「終了後」の期間の1日あたりの集中時間に関するt検定。日々の相関関係に関心がある場合は、いくつかの観察結果をあきらめて、その日が相関関係がなくなったと考えるのに十分な間隔を空けることができます。このアプローチを使用すると、電力を簡単にトレードオフできます。
  2. AR:1つのダミーを使用してARモデルを近似します:「終了後」。予測変数が重要な場合は、変更があります。ARを使用すると、日間の(可能性のある)依存関係をキャプチャします。

:Johnアイデアは、「1つの候補時点」を知らないが、おそらく文字通り何百もの時系列について、分析的にそれを見つけたいということです。この1つの候補を決定するための「アイテスト」は、1回限りのパルスおよび基礎となるARIMA構造がオクルードするため、しばしば不十分です。未知のLEVEL / STEPシフトを検索するR. RsayまたはGeorge Tiaoの介入検出方法は、実際に記述した変数(ゼロの後に1が続くダミー)を構築します。最初に介入を特定し、次にARIMAコンポーネントを特定することを検討するように注意する必要があります。
-IrishStat

@IrishStat:参照されているブログでは、変更点がわかっています。そうでない場合は、strucchange Rパッケージが参照されました。
ジョンロス

:John from struchange documenation「最後に、構造変化を伴う回帰モデルのブレークポイントは、私がよく知っているCHOWメソッドを使用して推定できます。回帰係数のブレークポイントのテストまたは検索には、回帰モデルの指定が必要です。これは、「データに基づいて時系列が増加または減少したかどうかを判断するテスト」という質問への回答とは何の関係もありません。あなたの推薦は、OPの質問に答えるには不十分だと思います。尋ねられたと信じています。
IrishStat

:johnそれは本当ですが、切片しか持たないモデルは教科書や夢の中にしか見られないので、些細なことです。
IrishStat

@IrishStat:構造変更フレームワークがより一般的であることは事実です。しかし、「データ」の増加または減少を検出するには、インターセプトのみのモデルを当てはめることで行えます。
JohnRos

1

数年前、地元のASA支部会議で大学院生Stacey Hancockによる講演を聞きましたが、それは時系列の「構造破壊推定」に関するものでした。話は本当に面白かったので、その後彼女と話をし、彼女はコロラド州立大学、現在はコロンビアのリチャードデイビス(ブロックウェルデビスの)と仕事をしていました。講演はデイビス等の延長でした。2006 JASA紙での仕事はと呼ばれる非定常時系列モデルのためStruturalブレーク推定を自由に利用可能である、ここに

Davisには、彼がWindows実行可能ファイルにしたAuto-PARMを呼び出すメソッドのソフトウェア実装があります。彼に連絡すれば、コピーを入手できるかもしれません。コピーがありますが、これは1,200の観測時系列の出力例です。

    ============== RESULTS ===============
  ISLAND           1
    SC=   1910.58314770669
    Breaking point/AR order
           1              1
         351              1
         612              3
    ======================================
 Total time:   5.812500

したがって、シリーズは最初はAR(1)であり、観測351でAR(1)プロセスは別のAR(1)プロセスに変化し(パラメーターを取得できます)、観測612でプロセスはAR(3)に変化します。

Auto-PARMを試してみた興味深い設定の1つは、NN5コンペティションの一部である毎週のATM引き出しデータを見たことでした。。たとえば、米国のホリデーショッピングシーズンの開始など、特定の年の11月下旬に構造的な中断を見つけるアルゴリズムを思い出します。

では、既存の実装を介してこのアルゴリズムを使用する方法は?繰り返しになりますが、Davisに連絡して、Windows実行可能ファイルを入手できるかどうかを確認できます。Rogue Wave Softwareにいたとき、Davisと協力してAuto-PARMをIMSL数値ライブラリに追加しました。最初に移植された言語はFortranで、Auto_PARMと呼ばれています。RogueWaveはすぐにCポートをリリースし、Python、C#、およびJavaポートが続くと思われます。


:Josh he OPは、私の意見では、モデルパラメータの不変性の仮説をテストすることについて言及していませんでした。彼は、残差の平均におけるこれまで未知のシフトを検出することに興味があると信じています。
IrishStat

mods:私の意見では、OPはモデルパラメーターの不変性の仮説をテストすることではなく、AR(3)が経時的に一定のパラメーターを持っているかどうかに関係なく、彼はこれは、あなたが言及したものとは全く異なる問題です。今、私は、残差の平均に介入検出がない場合、あるモデルのパラメータおよび/またはエラーは大幅に変更された可能性がありますが、OPが知りたいことではありません。
IrishStat

@IrishStat:Auto-PARMに精通していますか?アルゴリズムは、ブレークの推定に残差を使用します(ブレークの数とセグメントのAR(p)順序の両方に関して)。OPには、彼が尋ねている特定の方法はないようです。むしろ、彼は非常に一般的に「時間内にプロセスを測定し、プロセスについて何かを変更する場合、データのみからこの変化点を検出する方法はありますか」と尋ねているようです。彼は、レベルシフトとイノベーションと相加的な異常値の検出については質問していません。うまくいけば、OPは...私達のために明確にすることができます
ジョシュHemann

josh:OPから「データに基づいて時系列が増加または減少したかどうかを判断するための適切なテストは何ですか?」これは、残差の平均が一部のARIMAモデルのパラメーターではなくシフトしたかどうかを判断する必要があると思います。私の意見では、間違ったソフトウェア/ソリューションの手順を推奨しているが、それは私の意見です。
IrishStat

1

ジョシュは言った:

josh:OPから「データに基づいて時系列が増加または減少したかどうかを判断するための適切なテストは何ですか?」これは、残差の平均が一部のARIMAモデルのパラメーターではなくシフトしたかどうかを判断する必要があると思います。私の意見では、あなたは間違ったソフトウェア/解決手順を推奨していますが、それは私の意見です。– IrishStat 11年10月28日19:08に

AR(1)モデルで始まると仮定します。

Yt=γ+ϕYt1+Et

どこ Et は、たとえば、ガウスノイズ(平均ゼロと分散 σ2 このシリーズの平均。

シリーズの平均は γ1ph

だから、しばらくの間、パラメータ γ そして ϕ変化しないので、シリーズの全体的な平均も変化します。ただし、これらの変更のいずれか、必然的にシリーズの平均が変更されます。したがって、区分的定常性の下で、これらのパラメーターの変更を探しています!

構造モデルを想定している場合、Auto-PARMを使用する手順です。


1
IrishStatを実際に引用しているように見えます...引用の元のソースをリンクしてください。
ニックスタウナー
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.