モデルの検索をいつ停止する必要がありますか？

エネルギーのストックプライスと天気のモデルを探しています。私は、ヨーロッパの国々の間で購入したMWattの価格と、天気に関する多くの価値を持っています（Gribファイル）。5年（2011-2015）の各時間。

価格/日

これは1年間、1日あたりです。私はこれを5時間に1時間ごとに持っています。

天気の例

ケルビンでの1時間の3Dscatterplot。1時間あたりのデータごとに1000個の値と、クレビン、風、地理ポテンシャルなどの200個のデータがあります。

私は、MWの1時間あたりの平均価格を予測しようとしています。

天気に関する私のデータは非常に密度が高く、1時間あたり10000値を超えるため、高い相関関係があります。これは、短いビッグデータの問題です。

私は、ラッソー、リッジ、SVRの方法を試し、MWattの平均価格を結果として、天気のデータを収入として使用しました。トレーニングデータとして70％、テストとして30％を使用しました。テストのデータが予測されていない場合（トレーニングデータ内のどこかにある場合）、適切な予測が得られます（R²= 0.89）。しかし、私は自分のデータを予測したいと思います。

したがって、テストデータが私のトレーニングデータの後に時系列である場合、何も予測されません（R²= 0.05）。時系列なので、普通だと思います。そして、多くの自己相関があります。

ARIMAのようなタイムセリエモデルを使わないといけないと思いました。メソッドの順序（セリエが静止している）を計算してテストしました。しかし、それは動作しません。つまり、予測のr²は0.05です。テストデータに対する私の予測は、テストデータに対する予測とはまったく異なります。私は自分の天気をリグレッサとしてARIMAXメソッドを試しました。つまり、情報は追加されません。

ACF / PCF、テスト/トレーニングデータ

だから私は一日あたり、そして週あたりの季節のカットをしました

日

最初のトレンドの週

そして、私の株価のトレンドの傾向を事前に判断できれば、これを得ることができます：

青は私の予測であり、赤は実際の値です。

天気のローリング平均を収入として、株価のトレンドのトレンドを結果として回帰を行います。しかし、今のところ、私はどんな関係も見つけていません。

しかし、相互作用がない場合、何もないことをどうやって知ることができますか？多分それは私がそれを見つけていないだけのことです。

「計算力学」と呼ばれる正式な科学ドメインに興味があるかもしれません。James CrutchfieldとDavid Feldmanによる記事で、彼らは計算力学のプログラムを（私が理解している限り）決定論的な不確実性と決定論的な関係を推論することによる情報コスト、（2）確率論的分析の境界を解析することとして説明しています。確率分布を推定することの不確実性と情報コスト、および（3）エントロピー不確実性と情報が乏しいことの結果。

質問に直接答えるには（幅広い質問をしたのでかなり広い範囲ですが）、データから「十分」または「できること」をどれだけ学んだかを知る方法は、研究のオープンドメインです。前者は、世界の研究者および俳優としてのニーズに応じて必然的に決まります（たとえば、どのくらいの時間、どのくらいの処理能力、どのくらいのメモリ、どれくらいの緊急度などが与えられているかなど）。

私はこの分野に精通していませんし、この特定の記事にも詳しくありませんが、彼らはいくつかのクールな思想家です。:)

Crutchfield、JPおよびFeldman、DP（2003）。規則性が見えず、ランダム性が観察された：エントロピー収束のレベル。カオス、13（1）：25–54。