最も重要な機能を推測する

インスタンスのセットが与えられます。インスタンスごとに、（数値）特徴（、、...、）、n >> mで構成される特徴ベクトルがあります。さらに、インスタンスごとに数値スコア（観測可能）があります。私はしたいと思います：$n$$m$$x_1$$x_2$$x_m$$y$

1. 特徴のどのサブセットまたはその線形結合がスコアを最もよく説明しているかを調べます。
2. このための素晴らしい視覚化を作成します。

主成分分析（PCA）を指摘されました。PCAの問題は、特徴ベクトルのみが考慮されることです。PCAは、特徴を数値スコア関連付けません。$y$

実用的なアプリケーション：多数の問題インスタンス（巡回セールスマンの問題など）と、問題を解決するためのいくつかのアルゴリズムがある場合。インスタンスを解決するたびに、インスタンスの解決にかかった合計時間（=スコア）を測定できます。さらに、インスタンスごとに、インスタンスのサイズ、グラフの直径など、いくつかの機能を取得できます。これらの機能のどれが計算時間を最もよく説明しますか？

多くのオプションがあり、それはあなたが正確に何をしたいかによります。

機能の重要性または順列の重要性

どちらの方法でも、モデルにとって最も重要な機能がわかります。各機能の番号です。モデルが適合した後に計算されます。フィーチャのどの値がどのスコアを意味するかについては何もわかりません。

sklearnでは、ほとんどのmodelzが持っていmodel.feature_importances_ます。すべての機能の重要度の合計は1です。

順列重要度は、適合モデルに対して計算されます。特徴列をシャッフルすると、メトリックがどの程度悪化するかがわかります。

疑似コード：

    model.fit()
    base_score = model.score(x_dev, y_dev)
    for i in range(nr_features):
        x_dev_copy = copy(x_dev)
        x_dev_copy[:, i] = shuffle(x_dev_copy[:, i])
        perm_score = model.score(x_dev_copy, y_dev)
        perm_imp[i] = (perm_score - base_score) / base_score

順列の重要性について詳しくは、こちらをご覧ください。

部分依存プロット

フィーチャのどの値が予測の値を増減するかを示します。次のようになります。

Kaggleの詳細：部分依存プロットまたはライブラリPDPbox GitHubに直接アクセスしてください。

SHAP値

モデルが特定のインスタンスに対して特定の予測を与える理由を説明します。次のグラフをプロットします。これは、現在のインスタンスの平均値から現在の値に予測を移動した機能値を示すグラフです。

詳細については、SHAPライブラリを確認してください。