xgboostの加法性バイアス（およびその修正？）

私は今コンテストに参加しています。私はそれをうまくやるのが私の仕事だと知っていますが、私の問題とその解決策について、他の人にとっても助けになるかもしれないので、誰かがここで私の問題とその解決策について話したいと思うかもしれません。

私はxgboostモデル（ツリーベースのモデルと線形モデルとその2つのアンサンブル）をトレーニングしました。既にここで説明したように、トレーニングセット（交差検証を行った場合）の平均絶対誤差（MAE）は小さく（約0.3）、保持されたテストセットでは誤差は約2.4でした。その後、競争が始まり、エラーは約8（！）でした。驚くべきことに、 予測は常に真の値よりも約8〜9高くなりました!! 画像の黄色で囲まれた領域を参照してください。

トレーニングデータの期間は2015年10月に終了し、コンテストは今すぐ始まりました（16年4月、テスト期間は3月に約2週間）。

今日、私は自分の予測から定数値9を差し引いただけで、エラーは2になり、リードボードで3を獲得しました（この1日分）。;）これは黄色の線の右側の部分です。

だから私が議論したいこと：

• xgboostは、切片項をモデル方程式に追加することに対してどのように反応しますか？システムの変更が多すぎる場合、これによりバイアスが発生する可能性がありますか（私の場合、10月15日から4月16日のように）。
• インターセプトなしのxgboostモデルは、ターゲット値の平行シフトに対してより堅牢になるでしょうか？

私は9のバイアスを差し引いていきます。誰か興味があれば、結果を表示できます。ここでより多くの洞察を得ることはちょうどより興味深いでしょう。

私は自分に答えて、誰かが興味があれば私の発見を知らせます。

最初のバイアス：私はすべての最近のデータを収集し、相関性をフォーマットするなどの時間をかけました。私はずっと前にこれをやるべきだった。画像は次のとおりです。

2015年末から4月16日までのデータが表示されます。価格レベルはまったく異なります。2015年のデータでトレーニングされたモデルは、この変更を得ることができません。

第二：xgboostの適合。私は次のセットアップが本当に好きでした。トレーニングとテストのエラーは今では非常に近く、まだ良好です：

xgb_grid_1 <- expand.grid(
    nrounds = c(12000),
    eta = c(0.01),
    max_depth = c(3),
    gamma = 1,
    colsample_bytree = c(0.7),
    min_child_weight = c(5) 
  )

  xgb_train_1 <- train(
    x = training,y = model.data$Price[inTrain],
    trControl = ctrl,
    tuneGrid = xgb_grid_1,
    method="xgbTree" 
   ,subsample = 0.8
    )

したがって、私は多くの木を使用し、それらのすべては最大で3分割の深さです（ここで推奨されています）。これを行うと、計算が速くなり（ツリーのサイズは分割ごとに2倍に増加します）、オーバーフィットが減少したようです。

私の要約：葉の数は少ないがたくさんある木を使用して、最近のデータを探します。競争のために、これは私にとって不運でした...