scikit-learnランダムフォレストの機能の重要性は非常に高い標準偏差を示しています

私はscikit-learn Random Forest Classifierを使用しており、この例のように機能の重要度をプロットします。

ただし、機能の重要度の標準偏差は、機能の重要度自体よりも常に大きいという意味で、私の結果は完全に異なります（添付画像を参照）。

このような動作をすることは可能ですか、それをプロットするときにいくつかの間違いをしていますか？

私のコードは次のとおりです。

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier

clf = RandomForestClassifier()
clf.fit(predictors.values, outcome.values.ravel())

importance = clf.feature_importances_
importance = pd.DataFrame(importance, index=predictors.columns, 
                          columns=["Importance"])

importance["Std"] = np.std([tree.feature_importances_
                            for tree in clf.estimators_], axis=0)

x = range(importance.shape[0])
y = importance.ix[:, 0]
yerr = importance.ix[:, 1]

plt.bar(x, y, yerr=yerr, align="center")

plt.show()

デフォルトのツリー数である10のRandomForestを使用しています。約30の機能では、これは少なすぎます。したがって、標準偏差は大きくなります。少なくとも100本、さらには1000本の木を試してください。

clf = RandomForestClassifier(n_estimators=1000)

より洗練された分析のために、フィーチャ間の相関がどれだけ大きいかを確認することもできます。

結果はそれほど奇妙ではありません。以下のようlanenokの状態は、最初のステップであなたが機能重要度に関する「統計」の結果を得ていることを確認するために、木の数を増やす必要があります。

しかし、Genuerらによるこの論文のように。（2010）ショーでは、特徴を排除するために実際に標準偏差を使用できます。引用する：「真の変数の標準偏差は、ゼロに近いノイズの多い変数と比較して大きいことがわかります。」

試してくださいclf = RandomForestClassifier(max_features=None)。max_featuresparamがデフォルトに'auto'これに相当しますsqrt(n_features)。max_features「最適な分割を探すときに考慮すべき機能の数」と記述されています。意思決定ツリーの任意の時点で少数の機能のみを見るということは、単一の機能の重要性が多くのツリーで大きく異なる可能性があることを意味します。したがって、ランダムなサブセットを見るのではなく、ツリーのすべてのレベルですべての機能を見てください。

これの一般的な理由は、指定した（またはデフォルトの）パラメーターがRandomForestClassifierデータセットに適していないことです。

この問題に対処する一般的な方法は、例えばを使用してハイパーパラメータ空間を検索することですGridSearchCV：

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import accuracy_score, make_scorer

param_grid = {'n_estimators': [10, 100, 1000], 'max_features': [5, 10, 20, 30]}
clf = GridSearchCV(RandomForestClassifier(), param_grid, cv=5, scoring=make_scorer(accuracy_score))

param_gridここに、検索するパラメーターの順列と、make_scorer(accuracy_score)最適化するメジャーがあります。

注accuracy_scoreバランスの取れたセットのためではなく、アンバランスなセットに適しています。特定の目的に適したメトリックを選択します。

複数の理由が考えられます。木の数と深さは結果を変えることができます。パラメーターを選択した後（クロス検証など）、モデルがうまく機能しない場合は、フィーチャがあまり予測的ではないためと思われます。しかし、他の可能性もあります。たとえば、あなたの特徴が高度に相関している可能性もあります。もう少し情報が役立ちます。