タグ付けされた質問 「time-series」

Rパッケージのevolfft関数を使用してRSEIS、信号のSTFT分析を行っています。 信号は1時間の長さで、3つの異なる条件、特に0-20 'コントロール、20'-40'刺激、40'-60 '刺激後に取得されました。 視覚的には、これらの3つの期間中にスペクトログラムに変化が見られます。治療中に周波数が高くなり、FFTパワーが増加しますが、「いくつかの数値を付ける」ために実行できる統計分析の種類があるかどうか疑問に思っていました。 なにか提案を？ 編集：提案されたように、私が扱っているデータの例を追加します かなり広い周波数範囲でFFTのパワーが増加することがわかるように、処理は20 '〜40'の間です。実験ごとにこれらのSTFTが50〜60あります（合計10実験）。各実験のスペクトルを平均化しても、同様のタイプのパターンが得られます。さて、私の問題は、私が持っているデータをどのように正確に定量化し、治療前、治療中、治療後に比較する統計を作成するかです。

9 time-series  hypothesis-testing  anova  fourier-transform 

それを説明するために一般的に使用されている単語がわからない場合、何かについての情報をWebで検索するのはかなり困難です。この場合、別の予測子を時系列に含めると、それが何と呼ばれるのかと思います。 例として、AR（3）を使用して変数をモデル化するとします。XXX Xt=φ1Xt−1+φ2Xt−2+φ3Xt−3+εtXt=φ1Xt−1+φ2Xt−2+φ3Xt−3+εt X_t = \varphi_1 X_{t-1} + \varphi_2 X_{t-2} + \varphi_3 X_{t-3} + \varepsilon_t モデルに別の変数の影響（たとえば、を含めたいので、モデルを次のように記述します。YYY Xt=φ1Xt−1+φ2Xt−2+φ3Xt−3+β1Yt−1+β2Yt−2+β3Yt−3+εtXt=φ1Xt−1+φ2Xt−2+φ3Xt−3+β1Yt−1+β2Yt−2+β3Yt−3+εt X_t = \varphi_1 X_{t-1} + \varphi_2 X_{t-2} + \varphi_3 X_{t-3} + \beta_1 Y_{t-1} + \beta_2 Y_{t-2} + \beta_3 Y_{t-3} + \varepsilon_t 前者のモデルと後者のモデルを区別する用語は何ですか？

9 time-series  terminology 

ネットワーク/サーバー操作のコンテキストで時系列メトリックをプロットしています。データのサンプルレートは5分で、CPU使用率、エラー率などで構成されています。 グラフに水平の「しきい値」線を追加して、それを超えると人々が心配/注意する必要のある値のしきい値を視覚的に示します。たとえば、CPU使用率の例では、おそらく「心配」のしきい値は75％です。 私のチームは、この線が何色であるかについて内部の議論をしています： 背景グリッドとデータラインからはっきりと目立つ鮮やかな赤のようなもので、これは警告状態であることを示しています 線の「インク」は実際のデータを表していないため、もっと微妙で赤くはないはずです。そのため、不必要に注意を引くべきではありません。 ガイダンス/ベストプラクティスに感謝します...

9 time-series  data-visualization 

株式市場向けの自動取引システムを開発しています。大きな課題は過剰適合です。過剰適合を測定して回避する方法を説明するリソースをいくつか推奨できますか？ 私はトレーニング/検証セットから始めましたが、検証セットは常に汚染されています。 また、市場は常に変化しているため、時系列データも常に変化しています。これをどのように測定し、目に見えないデータで一貫した結果が得られる可能性を判断しますか？ ありがとう。

9 time-series  machine-learning  dataset  data-mining  validation 

私は次の時系列を持っています 以下に投稿されたデータを使用して取得されます。 スライディングウィンドウのサイズが10の場合、現在のスライディングウィンドウ内の値のPMFと履歴のPMFの間のKLダイバージェンスを計算して、KLダイバージェンスの値を経時的にプロットするという最終目標を設定して、 2つの時系列を比較できます。 今のところ、私が直面している概念的な問題があります（Pythonを使用して説明します）。 In [228]: samples = [0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1] # In reality this 10 should be 20 because that is the max value I have seen in the timeseries In [229]: bins = scipy.linspace(0, 10, 21) In [230]: bins …

9 time-series  probability  multivariate-analysis  histogram  kullback-leibler 

まず第一に、私の質問は非常に広範であり、そのためにこの質問に答えるのが難しいかもしれないことを理解しています。 2000以上のさまざまな製品の予測/予測を行う必要がある「問題」にアプローチする方法について何かアドバイスはありますか？つまり、製品ごとに異なる予測/予測が必要です。私は週レベルで2年間の履歴データを持っています（つまり、製品ごとの週あたりの需要）。 これを短期間で行う必要があります。これを行うには約1週間かかるため、比較的優れた予測モデルをすばやく作成できる方法を探しています。各製品のモデルを作成し、そのパフォーマンスを1つずつ綿密に検査するのは、時間がかかりすぎます。 分散に基づいて製品をセグメント化することを考えたので、分散が低い製品の単純なモデルを使用できます。これは理想的ではないかもしれませんが、作成する必要のあるモデルの数を絞り込むための簡単な方法です。 この問題への取り組みについて、実際的なアドバイスをいただければ幸いです。

9 time-series  forecasting  segmentation 

時系列予測にLSTMを使用しようとしています。データは1分に1回ストリーミングされますが、1時間先を予測したいと思います。これを行うには、2つの方法が考えられます。 代わりに、データを1時間ごとのデータに圧縮し、60分の各期間の平均を1つのデータポイントとして使用します。 各(X, y)トレーニングデータペアについて、Xからt - 120までの時系列としt - 60、からまでyの時系列とt - 60しtます。LSTMに60タイムステップ先の予測を強制しy[-1]、予測として使用します。 これに取り組むためのベストプラクティスはありますか？

9 time-series  lstm  rnn 

（弱い）定常過程から生じる時系列の線形変換も定常であることを知っています。しかし、これは各要素の絶対値を取ることによる系列の変換にも当てはまりますか？つまり、が静止している場合、静止していますか？{xi,i∈N}{xi,i∈N}\{x_i,i\in\mathbb{N}\}{|xi|,i∈N}{|xi|,i∈N}\{|x_i|,i\in\mathbb{N}\}

8 time-series  data-transformation  stationarity 

更新（2019-06-25）：「非可逆MAモデルは意味がありますか？」からタイトルを変更 質問333802と区別します。 MA（）モデルを確認しているときに、これらのスライドに出くわしました（Alonso and Garcia-Martos、2012）。著者は、すべてのMAプロセスは定常的ですが、可逆的でない場合、qqq 「過去の観測の効果が距離とともに増加する逆説的な状況。」 これは、MA（1）プロセスの分解によって見ることができます： into ここで明らかには、現在にますます影響を与える履歴に変換されます。これについての2つのことは私を悩ませます：yt= ϵt- θ εt − 1yt=εt−θεt−1 y_t = \epsilon_t - \theta \epsilon_{t-1} yt= ϵt− ∑i = 1t − 1θ私yt − i- θtε0、yt=εt−Σ私=1t−1θ私yt−私−θtε0、 y_t = \epsilon_t -\sum_{i=1}^{t-1} \theta ^i y_{t-i} - \theta^t \epsilon_0,| θ | > 1|θ|>1|\theta|>1 何かの影響に一時的な遅れがある状況を想像するのは難しくありません この相互検証された投稿には、次のような答えがあります。 " ほぼすべてのガウス、非可逆MA（q）モデルを同じプロセスを表す可逆MA（q）モデルに変更できるため、可逆性はそれほど重要ではありません " 過去の観測の影響が距離とともに増加するのは本当ですか？もしそうなら、それはモデルを現実世界の現象を記述するのに不適当にしますか？ …

8 time-series  moving-average 

意図的にモデルをオーバーフィットすることは理にかなっていますか？ データがトレーニングデータに対してそれほど変わらないことがわかっているユースケースがあるとします。 私はここで交通予測について考えています。交通状況は一定のパターンのセットに従います 朝の通勤 夜の活動 等々。 これらのパターンは、自動車ユーザーの急増や道路インフラの大きな変化がない限り、あまり変わりません。この場合、将来のパターンとデータが非常に類似すると想定して、モデルが現在のデータで学習したパターンにできるだけ偏るようにしたいと思います。

8 machine-learning  time-series  forecasting  prediction  overfitting 

変数の変更（）が結果（）に及ぼす因果関係に興味がある場合、有向非循環グラフ（DAG）でそれをどのように表すことができますか？EEEOOO と仮定します。ここで、とは時間1と2で発生し、正しいDAGは次のようになります。 ΔE2=E2−E1ΔE2=E2−E1\Delta E_2 = E_2 - E_1E1E1E_1E2E2E_2 1.と仮定すると単にのすべてのレベルで捕捉されと（ア・ラ・相互作用効果がそのように撮影しているのと同じ方法）？ ΔE2ΔE2\Delta E_2E1E1E_1E2E2E_2 2.と仮定すると、から因果的に明確な変数であるとが、これらの変数の存在を必要としますか？ ΔE2ΔE2\Delta E_2E1E1E_1E2E2E_2 3.はとから独立していて、後者は影響を表すために必要ではないと仮定しますか？ ΔE2ΔE2\Delta E_2E1E1E_1E2E2E_2ΔE2ΔE2\Delta E_2 他に何か？ 注：「DAG」は、「古い種類の因果関係グラフまたは相関グラフ」を意味するのではなく、因果関係を表す厳格に禁止された形式です。 私の動機は、一般化されたエラー修正モデルのような動的モデルのDAG表現について考えようとしていることです。 ΔOt=β0+βc(Ot−1−Et−1)+βΔEΔEt+βEEt−1+εtΔOt=β0+βc(Ot−1−Et−1)+βΔEΔEt+βEEt−1+εt\Delta O_t = \beta_{0} + \beta_{\text{c}}\left(O_{t-1} - E_{t-1}\right) + \beta_{\Delta E}\Delta E_{t} + \beta_E E_{t-1} + \varepsilon_t もちろん、生のパラメーター推定値は、以下のようにモデルを解釈するように変換されます。したがって、おそらく上記のモデルをDAGするのはさらに面倒です。 変化の短期即効性上の：EEEΔOΔO\Delta OβΔEβΔE\beta_{\Delta E} 短期のレベルの遅れ効果上の：EEEΔOΔO\Delta OβE−βc−βΔEβE−βc−βΔE\beta_{E} - \beta_{\text{c}} - \beta_{\Delta E} 遅延がに及ぼす長期的な平衡効果：EEEΔOΔO\Delta …

8 time-series  dag 

私は最近、将来の株式市場のリターンの予測についての興味深い記事に出くわしました。著者は以下のグラフを提示し、0.913のR ^ 2を引用しています。これは著者の方法を私がこれまでにこの主題で見たことよりはるかに優れたものにするでしょう（ほとんどが株式市場は予測不可能であると主張します）。 著者は彼の方法を非常に詳細に説明し、結果を裏付けるための実質的な理論を提供します。次に、このホワイトペーパーを参照する2番目の批評的な記事「ロングホライズン予測可能性の神話」を読みました。どうやら人々は何十年もの間この幻想に陥っています。残念ながら、私はその論文を本当に理解していません。 これは私に次の質問を導きます： トレーニングとモデル検証の両方に同じデータセットを使用することにより、長期予測の誤った信頼が生じますか？トレーニングと検証のデータが別々の重複しない期間から取得された場合、問題は解消されますか？ トレーニングセットの検証とは別に、なぜこの問題は長い期間にわたってより顕著になるのですか？ 一般的に、長期予測を行う必要があるモデルをトレーニングする場合、この問題をどのようにして克服できますか？

8 machine-learning  time-series  forecasting  predictive-models 

最近、いくつかの「非公式」ソースに出くわしました。これは、状況によっては、AICまたはBICを使用して時系列モデルをトレーニングする場合、データをテストに分割してトレーニングする必要がないことを示しています。トレーニング用のデータ。（出典には、CVに関するRob Hyndmanのブログ投稿に関するディスカッション、スタンフォード大学からのこのプレゼンテーション、またはこのテキストのセクション4が含まれます）。 特に、データセットが小さすぎてトレインとテストを分割できない場合に、AICまたはBICを使用できることを示しているようです。 たとえば、Rob Hyndmanのコメント：「AIC / BICを使用する方がテストセットやCVを使用するよりもはるかに効率的であり、そうでない場合に十分なデータがない短い時系列では不可欠になります。」 しかし、これについて詳細に説明しているテキストや論文を見つけることはできません。 特に私を困惑させることの1つは、AICとBICが相互検証に漸近的になる傾向があるということです。つまり、可能であれば、それらは大きなデータセットのCVを置き換えることになります。 誰かが私にこのアイデアの正式な議論（本の章、論文、チュートリアル）を指摘できますか？

8 time-series  cross-validation  aic  train  bic 

合成時系列を生成したい。時系列は、ガンマ周辺分布と AR（1）パラメーターを持つマルコフ連鎖である必要があります。AR（1）モデルのノイズ項としてガンマ分布を使用するだけでこれを実行できますか、それともより高度なアプローチを使用する必要がありますか？ρρ\rho

8 time-series  markov-process  gamma-distribution  autoregressive 

この定常系列の特性と自己相関関数について頭をつかむことができません。私はそれを証明しなければなりません ∑h=1n−1ρ^(h)=−12∑h=1n−1ρ^(h)=−12\begin{align} \sum_{h=1}^{n-1}\hat\rho(h)=-\frac{1}{2} \end{align} ここで、およびは自動共分散関数ですγ（H）ρ^(h)=γ^(h)γ^(0)ρ^(h)=γ^(h)γ^(0)\hat\rho(h)=\displaystyle\frac{\hat\gamma(h)}{\hat\gamma(0)}γ^(h)γ^(h)\hat\gamma(h) γ^(h)=1n∑t=1n−h(Xt−X¯)(Xt+h−X¯)γ^(h)=1n∑t=1n−h(Xt−X¯)(Xt+h−X¯）\begin{align} \hat\gamma(h) = \frac{1}{n}\sum_{t=1}^{n-h}(X_t-\bar{X})(X_{t+h}-\bar{X}) \end{align} うまくいけば、誰かが証明を手伝ってくれるか、少なくとも私を正しい方向に向けることができます。

8 time-series  autocorrelation  stationarity