傾向を特定するための信号処理原理の疑わしい使用

非常にノイズの多い長期データの傾向を見つけてみることを提案しています。データは基本的に、約8か月の間に約5mm移動したものの毎週の測定値です。データは1mmの精度であり、1週間に+/- 1または2mmで定期的に変化する非常に騒々しいものです。最も近いmmまでのデータしかありません。

基本的な信号処理と高速フーリエ変換を使用して、生データからノイズを分離する予定です。基本的な前提は、データセットをミラーリングして既存のデータセットの最後に追加すると、データの全波長を作成できるため、データが高速フーリエ変換で表示され、うまくいけば、データを分離できることです。 。

これは私には少し怪しいように思えますが、これは追跡する価値のある方法ですか、それともデータセットをミラーリングして追加する方法になんらかの根本的な欠陥がありますか？ローパスフィルターの使用など、他のアプローチも検討しています。

トレンドの推定値が誤ったデータをつなぎ合わせるポイントの近くに偏っているので、それは私には危険だと思われます。代替のアプローチは、レスやスプラインなどのノンパラメトリック回帰スムーザーです。

信号処理を使用して長期トレンドをフィルタリングしたい場合は、なぜローパスを使用しないのですか？

私が考えることができる最も簡単なことは指数移動平均でしょう。

基礎となるすべての波がうまく接続されているわけではないので、貼り付けポイントに多少の歪みが生じると思います。

これにはヒルベルト・ファン変換を使用することをお勧めします。組み込みモードの関数に分割して、それらを計算するときに残余として何が残っているかを確認してください。

（高速:)）離散ウェーブレット変換を使用できます。Rでのwavethreshパッケージはすべての作業を行います。とにかく、私は@Jamesの解決策が好きです。それは、それが単純であり、要点をまっすぐに見ているためです。

ほとんどの場合、「長期トレンド」と聞くと、長期的な上昇傾向または長期的な下降傾向を思い浮かべますが、どちらもフーリエ変換では適切に捉えられていません。このような一方向の傾向は、線形回帰を使用することでより適切に分析されます。（フーリエ変換とピリオドグラムは、上下するものに適しています）。

線形回帰は、ほとんどのスプレッドシートで簡単に実行できます。（a）回帰直線の方程式を表示する（b）スプレッドシートを使用してXY散布図を作成する

線形回帰では、データを直線で近似しようとします。フーリエ変換は、いくつかの正弦波を加算してデータを近似しようとします。データを多項式または他の形状に近似しようとする他の手法（「非線形回帰」）があります。

フーリエ変換は、ワイドセンス信号の定常性と線形時間不変性（LTI）を前提としています。これらの条件の違反に対して堅牢ですが、定常性の仮定による傾向の分析には適切ではないと思います。つまり、FFTの基本的な仮定の1つに違反するものを測定しようとしています。

上記のポスターに同意します。データをミラーリングし、ミラーリングされたデータを時系列の最後に追加するのは危険です。上記のように線形回帰モデルを時間トレンドに適合させることはおそらくより適切であろうと私は提案します。

周期性を調べる場合は、ハイパスフィルタリングとフーリエ解析を実行することで、傾向を取り除くことができます。フィルター処理後も傾向が見える場合は、FFTの前に元の信号から近似線形回帰線を差し引くことができます。