ランダムフォレストが過剰適合

scikits-learnでRandom Forest Regressionを使用しようとしています。問題は、非常に高いテストエラーが発生していることです。

train MSE, 4.64, test MSE: 252.25.

これは私のデータがどのように見えるかです：（青：実データ、緑：予測）：

トレーニングに90％、テストに10％を使用しています。これは、いくつかのパラメーターの組み合わせを試した後に使用しているコードです。

rf = rf = RandomForestRegressor(n_estimators=10, max_features=2, max_depth=1000, min_samples_leaf=1, min_samples_split=2, n_jobs=-1) 
test_mse = mean_squared_error(y_test, rf.predict(X_test))
train_mse = mean_squared_error(y_train, rf.predict(X_train))

print("train MSE, %.4f, test MSE: %.4f" % (train_mse, test_mse))
plot(rf.predict(X))
plot(y)

フィッティングを改善するための可能な戦略は何ですか？基礎となるモデルを抽出するために他にできることはありますか？同じパターンを何度も繰り返した後、モデルが新しいデータに対して非常にひどく振る舞うのは信じがたいようです。このデータに合わせようとする希望はありますか？

間違ったツールを使用していると思います。X全体がインデックスに等しい場合、基本的にサンプリングされた関数$f:\mathbb{R}\rightarrow\mathbb{R}$あり、外挿しようとしています。機械学習はすべて履歴の補間に関するものであるため、この場合に壮大な失敗を記録することは驚くことではありません。

必要なのは、時系列分析（つまり、トレンドの抽出、スペクトルの分析、残りの自己回帰またはHMM処理）または物理学（つまり、そのような出力を生成するODEがあるかどうかを考え、保存された量を介してパラメーターを適合させること）です。

最大の問題は、回帰ツリー（およびランダムフォレストのようなそれらに基づくアルゴリズム）が区分的定数関数を予測し、各リーフに該当する入力に一定の値を与えることです。これは、トレーニングドメイン外で外挿する場合、トレーニングデータがあった最も近いポイントの場合と同じ値を予測するだけであることを意味します。@mbqは、一般的な機械学習手法よりも優れていると思われる時系列を学習するための特別なツールがあることは正しいです。ただし、この例ではランダムフォレストが特に悪いので、他の一般的なMLテクニックはおそらくあなたが見ているものよりもはるかに優れたパフォーマンスを発揮します。非線形カーネルを備えたSVMは、頭に浮かぶ1つのオプションです。関数は周期構造を持っているため、これはまた、周波数領域の動作を示唆しています。

これはデータのオーバーフィッティングの教科書の例です。モデルは訓練されたデータでは非常にうまく機能しますが、新しいテストデータでは崩壊します。これは、これに対処する戦略の1つです。トレーニングデータの10倍のクロス検証を行い、パラメーターを最適化します。

手順1. NM最適化を使用してMSE最小化関数を作成します。以下に例を示します。 http //glowingpython.blogspot.de/2011/05/curve-fitting-using-fmin.html

ステップ2.この最小化関数内の目的は、MSEを削減することです。これを行うには、データの10分割を作成し、新しいモデルが9分割で学習され、10分割でテストされます。このプロセスを10回繰り返して、各フォールドのMSEを取得します。集約されたMSEは、目的の結果として返されます。

ステップ3. Pythonのfminが繰り返しを行います。どのハイパーパラメーターを微調整する必要があるかを確認し（n_estimators、max_featuresなど）、それらをfminに渡します。

結果は、オーバーフィッティングの可能性を減らす最高のハイパーパラメーターになります。

いくつかの提案：

1. ローリングウィンドウアプローチを使用してパラメーターを調整します（次を予測するためにモデルを最適化する必要があります、提供された値を予測するのではなく、時系列の値）
2. 他のモデルを試してください（適切な機能選択と機能エンジニアリング戦略を備えたより単純なモデルでも、問題により適している可能性があります）
3. ターゲット変数の最適な変換を学習してみてください（これも調整してください。負の線形/指数傾向があり、推定できる場合があります）
4. おそらくスペクトル分析
5. 最大値/最小値は、等間隔になっているようです。彼らにあなたの特徴が与えられている場所を学び（オペレータの入力なし、アルゴリズムがそれを発見してバイアスを取り除く）、これを特徴として追加します。また、機能を設計しますnearest maximum。Dunno、うまくいくかもしれないし、うまくいかないかもしれない。テストするかどうかしかわからない:)

$x^2$$x_2$

上記の投稿を読んだ後、私は別の異なる答えをしたいと思います。

ランダムフォレストなどのツリーベースのモデルの場合、トレーニングセットを超えて値を推定することはできません。だから、私はそれが過剰に適合する問題ではないと思うが、間違ったモデリング戦略だ。

それでは、時系列予測のためにツリーモデルで何ができるでしょうか？

可能な方法は、線形回帰と組み合わせることです：最初に時系列をトレンド除去します（または線形回帰でトレンドをモデリングします）、次にツリーで残差をモデリングします（残差は有界なので、ツリーモデルで処理できます）。

さらに、キュービストと呼ばれる、外挿可能な線形回帰と組み合わせたツリーモデルがあり、葉に対して線形回帰を行います。

グラフの範囲内で単純に予測したい場合は、データセットを分割する前に観測値をランダム化するだけで問題を解決できます。次に、示されているように、外挿から内挿の問題になります。