私はコンピューターサイエンスのバックグラウンドを持っていますが、インターネット上の問題を解決してデータサイエンスを学ぼうとしています。

私はこの数週間、この問題に取り組んでいます（約900行と10個の機能）。最初はロジスティック回帰を使用していましたが、ランダムフォレストに切り替えました。トレーニングデータでランダムフォレストモデルを実行すると、aucの値が非常に高くなります（> 99％）。ただし、テストデータで同じモデルを実行すると、結果はそれほど良くありません（精度約77％）。これにより、トレーニングデータを過剰に適合していると信じることになります。

ランダムフォレストでの過剰適合の防止に関するベストプラクティスは何ですか？

開発環境としてrとrstudioを使用しています。randomForestパッケージを使用しており、すべてのパラメーターのデフォルトを受け入れました

$k$$k \in \{5, 10\}$

トレーニングデータで99％のAUCをどのように得ていますか？違いがあることに注意してください

predict(model)

そして

predict(model, newdata=train)

トレーニングデータセットの予測を取得するとき。最初のオプションは、ランダムフォレストからout-of-bag予測を取得します。これは通常、予測値をトレーニングデータの実績値と比較するときに必要なものです。

2番目は、トレーニングデータを新しいデータセットであるかのように扱い、各ツリーで観測を実行します。通常、RFアルゴリズムは個々のツリーを剪定せず、代わりに過密を制御するためにツリーのアンサンブルに依存するため、予測と実際の結果との間に人為的に密接な相関が生じます。そのため、トレーニングデータの予測を取得する場合は、これを行わないでください。

決定木には、過剰適合を処理する2つの方法があります。（a）木を完全に成長させない（b）剪定する

同じことが木の森にも当てはまります-あまり育てず、剪定しないでください。

randomForestあまり使用していませんが、私の知る限り、フォレストの調整に使用できるいくつかのパラメーターがあります。

• nodesize -ターミナルノードの最小サイズ
• maxnodes -ターミナルノードの最大数
• mtry -各ツリーの構築に使用される変数の数（@ user777に感謝）

K分割交差検証などの交差検証方法を使用することもできます。

gridsearchを使用してパラメーターを調整できます

from sklearn.ensemble import RandomForestClassifier

from sklearn.grid_search import GridSearchCV

random_classifier = RandomForestClassifier()

parameters = { 'max_features':np.arange(5,10),'n_estimators':[500],'min_samples_leaf': [10,50,100,200,500]}

random_grid = GridSearchCV(random_classifier, parameters, cv = 5)

[ 5、15 ]の範囲でmax_depthパラメーターを調整してみてください。ただし、これよりも大きくしないと、オーバーフィッティングの可能性が高くなります。