タグ付けされた質問 「time-series」

私は、に対してでを使用して2つの状態のプロセスを処理していますバツtxtx_t{ 1 、− 1 }{1,−1}\{1, -1\}T = 1 、2 、...t=1,2,…t = 1, 2, \ldots 自己相関関数は、メモリが長いプロセスを示します。つまり、指数<1のべき乗則減衰を表示します。Rで次のような系列をシミュレートできます。 > library(fArma) > x<-fgnSim(10000,H=0.8) > x<-sign(x) > acf(x) 私の質問：自己相関関数だけが与えられた系列の次の値を最適に予測するための標準的な方法はありますか？予測する1つの方法は、単に バツ^（t ）= x （t − 1 ）x^(t)=x(t−1)\hat{x}(t) = x(t-1) これは、分類率を持ちます。ここで、はlag-1の自己相関ですが、ロングメモリ構造を考慮に入れることで、より適切に実行できるように思えます。（1 + ρ1）/ 2（1+ρ1）/2(1 + \rho_1) / 2ρρ\rho

11 time-series  predictive-models  autocorrelation 

時間の経過に伴うアルコールの販売に関する政策決定の結果を定量化するために介入分析を行いたいと思います。しかし、時系列分析はかなり新しいので、初心者向けの質問があります。 文献を調べると、他の研究者がARIMAを使用してアルコールの時系列売上高をモデル化し、介入の効果をモデル化するためのリグレッサとしてダミー変数を使用していることがわかります。これは妥当なアプローチのように思えますが、私のデータセットは、私が文献で得たデータセットよりもわずかに豊富です。最初に、私のデータセットは飲料の種類（つまり、ビール、ワイン、スピリッツ）ごとに分類され、次に地理的ゾーンごとにさらに分類されます。 分離されたグループごとに個別のARIMA分析を作成して結果を比較することもできますが、ここにはより良いアプローチがあると思います。多次元時系列データに慣れている人は、いくつかの指針や提案を提供できますか？

11 time-series  multivariate-analysis  arima  intervention-analysis 

Facebookの預言者について私が読んだのは、時系列を基本的にトレンドと季節性に分解することです。たとえば、加法モデルは次のように記述されます。 y(t)=g(t)+s(t)+h(t)+ety(t)=g(t)+s(t)+h(t)+et y(t) = g(t) + s(t) + h(t) + e_t と ttt時間を g(t)g(t)g(t)トレンド（線形またはロジスティック） s(t)s(t)s(t)季節性（毎日、毎週、毎年...） h(t)h(t)h(t)休日 etete_tエラー 私の質問は次のとおりです。単純な線形回帰でそれを行うことはできませんか？それらを比較すると、結果の点でどのような違いがありますか、そしてなぜですか？

11 regression  machine-learning  time-series  prophet 

時系列データをトレイン/テスト/検証セットに分割する最良の方法は何ですか？検証セットはハイパーパラメーター調整に使用されますか？ 3年分の日次販売データがあり、計画は2015-2016をトレーニングデータとして使用し、2017年のデータから10週間ランダムにサンプリングして検証セットとして使用し、2017年のデータからさらに10週間テストセット。次に、テストおよび検証セットの各日について前にウォークします。

11 time-series  cross-validation  validation 

時系列予測で「データ拡張」を行う2つの戦略を検討しています。 まず、背景について少し説明します。時系列{ A i }の次のステップを予測する予測子PPPは、通常、時系列の過去の状態だけでなく、予測子の過去の状態にも依存する関数です。{Ai}{Ai}\lbrace A_i\rbrace P({Ai≤t−1},PSt−1)P({Ai≤t−1},PSt−1)P(\lbrace A_{i\leq t-1}\rbrace,P_{S_{t-1}}) システムを調整/トレーニングして適切なPPPを取得する場合は、十分なデータが必要です。利用可能なデータでは不十分な場合があるため、データの拡張を検討します。 最初のアプローチ 我々は、時系列があると{Ai}{Ai}\lbrace A_i \rbraceと、1≤i≤n1≤i≤n1 \leq i \leq n。そして、我々が持っていることも想定ϵϵ\epsilon以下の条件を満たしている：0&lt;ϵ&lt;|Ai+1−Ai|∀i∈{1,…,n}0&lt;ϵ&lt;|Ai+1−Ai|∀i∈{1,…,n}0<\epsilon < |A_{i+1} - A_i| \forall i \in \lbrace 1, \ldots,n\rbrace。 新しい時系列{Bi=Ai+ri}{Bi=Ai+ri}\lbrace B_i = A_i+r_i\rbraceを構築できます。ここで、ririr_iは分布N(0,ϵ2)N(0,ϵ2)N(0,\frac{\epsilon}{2}) 。 次に、{Ai}{Ai}\lbrace A_i \rbraceでのみ損失関数を最小化する代わりに、{Bi}{Bi}\lbrace B_i \rbraceでも損失関数を最小化します。したがって、最適化プロセスがmmmステップを取る場合、予測子を2m2m2m回「初期化」する必要があり、約2m(n−1)2m(n−1)2m(n-1)予測子の内部状態を計算します。 第二のアプローチ {Bi}{Bi}\lbrace B_i \rbrace{Bi}{Bi}\lbrace B_i \rbrace{Ai}{Ai}\lbrace A_i \rbracem(n−1)m(n−1)m(n-1) もちろん、ここでは計算作業は少なくなります（ただし、アルゴリズムは少し醜いです）が、今のところ問題ではありません。 疑い 問題は次のとおりです。統計的な観点から、「最良の」オプションはどれですか。なぜ？ 最初の方が内部状態に関連する重みを「正規化」するのに役立ち、2番目の方が観測された時系列の過去に関連する重みを正規化するのに役立つため、私の直感は最初の方が優れていることを教えてくれます。 …

11 time-series  data-augmentation 

のmgcvパッケージにRは、テンソル積の相互作用をフィッティングするための2つの関数がte()ありti()ます。私は2つの作業の基本的な分業を理解しています（非線形の相互作用を当てはめるか、この相互作用を主効果と相互作用に分解するか）。私が理解していないのは、なぜte(x1, x2)、そしてti(x1) + ti(x2) + ti(x1, x2)（わずかに）異なる結果を生成するのかということです。 MWE（から適応?ti）： require(mgcv) test1 &lt;- function(x,z,sx=0.3,sz=0.4) { x &lt;- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n &lt;- 500 x &lt;- runif(n)/20;z &lt;- runif(n); xs &lt;- seq(0,1,length=30)/20;zs &lt;- seq(0,1,length=30) pr &lt;- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth &lt;- matrix(test1(pr$x,pr$z),30,30) f &lt;- test1(x,z) y &lt;- f + rnorm(n)*0.2 par(mfrow = c(2,2)) # …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

多くの場合、著者が「対数差」モデルを推定しているのを見ます。たとえば、 ログ（yt）− ログ（yt − 1）= ログ（yt/ yt − 1） = α + βバツtログ⁡（yt）−ログ⁡（yt−1）=ログ⁡（yt/yt−1）=α+βバツt\log (y_t)-\log(y_{t-1}) = \log(y_t/y_{t-1}) = \alpha + \beta x_t これは、log （y t）がI （1 ）であるをy tの変化率に関連付けるのに適切であることに同意します。バツtバツtx_tytyty_tログ（yt）ログ⁡（yt）\log (y_t)私（1 ）私（1）I(1) しかし、対数差は近似値であり、対数変換なしでモデルを推定することもできます。たとえば、 yt/ yt − 1− 1 = （yt− yt − 1）/ yt − 1= α + βバツtyt/yt−1−1=（yt−yt−1）/yt−1=α+βバツty_t/y_{t-1} -1 = (y_t - …

11 time-series  forecasting  data-transformation  econometrics  logarithm 

Recurrent Neural Network（RNN）の背後にある考え方は私には明らかです。私はそれを次のように理解しています：一連の観測（）（つまり、多変量時系列）があります。各単一観測は次元の数値ベクトルです。RNNモデル内では、次の観測は以前の観測と以前の "非表示状態"であると。ここで、非表示状態も数値で表されますベクトル（観測状態と非表示状態の次元は異なる場合があります）。隠された状態自体も、以前の観測と隠された状態に依存すると想定されます。o⃗ 1,o⃗ 2,…,o⃗ no→1,o→2,…,o→n\vec o_1, \vec o_2, \dots, \vec o_n → h io⃗ io→i\vec o_iNNNo⃗ i+1o→i+1\vec o_{i+1}o⃗ io→i\vec o_{i}h⃗ ih→i\vec h_i o⃗ i,h⃗ i=F(o⃗ i−1,h⃗ i−1)o→i,h→i=F(o→i−1,h→i−1)\vec o_i, \vec h_i = F (\vec o_{i-1}, \vec h_{i-1}) 最後に、RNNモデルでは、関数はニューラルネットワークであると想定されます。利用可能なデータ（一連の観測）を使用して、ニューラルネットワークをトレーニング（適合）します。トレーニングの目標は、前の観測を使用して次の観測をできるだけ正確に予測できるようにすることです。FFF 現在、LSTMネットワークはRNNネットワークの修正版です。私が理解している限り、LSTMの背後にある動機は、RNNに固有の短いメモリの問題を解決することです（従来のRNNは、時間的に離れすぎている関連イベントに問題があります）。 LSTMネットワークの仕組みを理解しています。ここでLSTMの最良の説明、私が発見したことは。基本的な考え方は次のとおりです。 非表示状態ベクトルに加えて、非表示状態ベクトル（）と同じサイズ（次元）を持つ、いわゆる「セル状態」ベクトルを導入します。「細胞状態」ベクトルは長期記憶をモデル化するために導入されたと思います。従来のRNNの場合と同様に、LSTMネットワークは入力として観測された隠された状態を取得します。この入力を使用して、次の方法で新しい「セル状態」を計算します。c⃗ ic→i\vec c_i c⃗ i+1=ω⃗ 1(o⃗ i,h⃗ i)⋅c⃗ i+ω⃗ …

11 time-series  neural-networks  predictive-models  intuition  rnn 

時系列の操作中に、スペクトル分析を使用して季節性を検出して削除することがあります。私は時系列の本当の初心者ですが、元の時系列から季節性を取り除きたいのはなぜでしょうか。季節性を削除すると元のデータが歪むのではないですか？ 季節性を取り除いて時系列を構築することでどのようなメリットがありますか？

11 time-series  seasonality 

パッケージのur.df()関数を使用して、時系列で次の単体ルートテスト（Dickey-Fuller）を実行していurcaます。 コマンドは次のとおりです。 summary(ur.df(d.Aus, type = "drift", 6)) 出力は次のとおりです。 ############################################### # Augmented Dickey-Fuller Test Unit Root Test # ############################################### Test regression drift Call: lm(formula = z.diff ~ z.lag.1 + 1 + z.diff.lag) Residuals: Min 1Q Median 3Q Max -0.266372 -0.036882 -0.002716 0.036644 0.230738 Coefficients: Estimate Std. Error t value Pr(&gt;|t|) (Intercept) …

11 r  time-series  hypothesis-testing  unit-root 

Jan'05からDec'11に及ぶ月間時系列が2万を少し超えると想定します。これらはそれぞれ、異なる製品のグローバル販売データを表しています。それぞれの予測を計算するのではなく、「実際に重要」な少数の製品のみに焦点を当てたい場合はどうなりますか？ 私はそれらの製品を総年間収益でランク付けし、古典的なパレートを使用してリストを切り詰めることができました。それでも、最終的な収益にはあまり貢献していませんが、一部の製品は予測が非常に簡単なので、除外しないと悪い判断になると思われます。過去10年間に毎月50ドル相当の売り上げを上げた製品は、あまり聞こえないかもしれませんが、将来の売り上げを予測するのにほとんど労力を要しません。 したがって、製品を4つのカテゴリに分類するとします。高収益/予測が容易-低収益/予測が容易-高収益/予測が困難-低収益/予測が困難。 第4グループに属する時系列のみを残しておくのが妥当だと思います。しかし、「予測可能性」をどのように正確に評価できますか？ 変動係数は良い出発点のようです（これについて少し前にいくつかの論文を読んだことも覚えています）。しかし、私の時系列が季節性/レベルシフト/カレンダー効果/強い傾向を示している場合はどうなりますか？ 「生の」データではなく、ランダムなコンポーネントの変動性のみに基づいて評価を行うべきだと想像します。それとも何か不足していますか？ 誰かが以前に同様の問題に遭遇しましたか？あなたたちはどうやってそれについて行きますか？ いつものように、どんな助けでも大歓迎です！

11 time-series  forecasting  forecastability 

私は現在、Rで多変量時系列をブートストラップするために次のプロセスを使用しています。 ブロックサイズの決定- 各シリーズのブロックサイズを生成するパッケージb.star内の関数を実行しますnp 最大ブロックサイズを選択 tsboot選択したブロックサイズを使用して任意のシリーズで実行 ブートストラップ出力のインデックスを使用して、多変量時系列を再構築します 誰かがブロックブートストラップの代わりにmebootパッケージを使用することを提案しましたが、データセット全体を使用してブロックサイズを選択していないため、実行mebootして作成されたインデックスを使用する場合にシリーズ間の相関関係を保持する方法がわかりません1つのシリーズ。多変量設定でmebootの経験がある人がいれば、そのプロセスについてのアドバイスをいただければ幸いです。

11 r  time-series  multivariate-analysis  bootstrap 

ARIMAモデルを元の時系列に適合させましたが、最良のモデルはARIMA（1,1,0）です。次に、そのモデルからシリーズをシミュレートしたいと思います。単純なAR（1）モデルを作成しましたが、モデルARI（1,1,0）内の違いを調整する方法を理解できませんでした。AR（1）シリーズの次のRコードは次のとおりです。 phi= -0.7048 z=rep(0,100) e=rnorm(n=100,0,0.345) cons=2.1 z[1]=4.1 for (i in 2:100) z[i]=cons+phi*z[i-1]+e[i] plot(ts(Y)) 上記のコードに差分項ARI（1,1）を含めるにはどうすればよいですか？この点で誰でも私を助けてくれます。

11 r  time-series  arima 

ACFとPACFの時系列プロットにおけるカットオフとテールオフの意味を理解しようとしています。 「ラグ後にカットオフ」とはどういう意味ですか？これは限界について？ 「テールズオフ」とはどういう意味ですか？ 上記の例では、私が勉強に使用している本、それがARプロセスだと言っています。 しかし、「切り捨て」と「引き下げ」の意味がわかりません

11 time-series  autocorrelation  terminology 

トラフィックデータに大きな変化（「トレンド」-スパイク/外れ値ではない）を見つけるアプリケーションプロトタイプの画像を見つけました。 同じことができるプログラム（Java、オプションでR）を作成したいのですが、私の統計スキルは少し錆びているため、このトピックをもう一度掘り下げる必要があります。 したがって、どのようなアプローチ/アルゴリズムを使用/調査する必要がありますか？

11 time-series  change-point