可変重要度ランキングは何に役立ちますか？

さまざまな重要度のランキング（すべての種類の多変量モデルのコンテキスト）に関しては、私はややニヒリストになりました。

多くの場合、作業の過程で、他のチームが可変重要度ランキングを作成するのを支援するか、自分の作業から可変重要度ランキングを作成するように依頼されます。これらのリクエストに応えて、私は次の質問をします

この変数の重要度ランキングは何にしたいですか？それから何を学びたいですか？それを使用してどのような決定をしたいですか？

私が受け取る答えはほとんどの場合、2つのカテゴリーのいずれかに分類されます。

• 応答を予測する上で、モデル内のさまざまな変数の重要性を知りたいと思います。
• 重要度の低い変数を削除して、機能の選択に使用したいと思います。

最初の応答はトートロジーです（変数の重要度ランキングが必要なため、変数の重要度ランキングが必要です）。多変量モデルの出力を使用する場合、これらのランキングは心理的なニーズを満たすと仮定する必要があります。変数「重要度」を個別にランク付けすると、問題のモデルの多次元の性質が暗黙的に拒否されるように見えるため、これを理解するのは困難です。

2番目の応答は、基本的に後方選択の非公式バージョンに還元され、その統計的な罪はCrossValidatedの他の部分で十分に文書化されています。

また、重要度ランキングの不明確な性質と格闘しています。ランキングがどのような基礎概念を測定すべきかについてはほとんど合意がないようで、非常にアドホックな風味を与えています。重要度スコアまたはランキングを割り当てるには多くの方法があり、一般に欠点と注意事項があります。

• ランダムフォレストおよびgbmsの重要度ランキングのように、アルゴリズムに大きく依存する場合があります。
• それらは非常に大きな分散を持ち、基礎となるデータへの摂動で劇的に変化します。
• それらは、入力予測子の相関の影響を大きく受ける可能性があります。

だから、私の質問は、変数重要度ランキングの統計的に有効な使用法は何ですか、またはそのような欲望の無益さに対する説得力のある議論（統計学者または素人に対する）は何ですか？私は、一般的な理論的議論とケーススタディの両方に興味があります。

この質問が主張するように、変数の重要性は滑りやすい概念であると主張しました。質問に答えるトートロジー的な最初のタイプの応答と、@ DexGrovesが指摘しているように、因果関係の観点から変数の重要性の結果を解釈する人々の非現実的な希望は、少し詳しく説明する必要はありません。

ただし、後方選択を使用する人にとっては、フランクハレルでさえも、モデリング戦略の一部として許可しています。彼のRegression Modeling Strategies第2版​​の97ページから（同様の声明は関連するコースノートの 131ページにあります）：

13. 精度よりも節約が重要な場合は、限定的な後方ステップダウン変数選択を行います。

ただし、後方選択のこの限られた潜在的な使用は、最終モデルの前の最後のステップ（ステップ14）であるステップ13です。重要な最初のステップの後によく来ます：

1. 予測値の幅広い分布を使用して、できるだけ正確な関連データを収集します...
2. 関連する候補予測子と可能な相互作用の特定につながる良い仮説を策定する...

私の経験では、人々は多くの場合、ステップ2をバイパスし、主題知識のインテリジェントなアプリケーションを自動化された手順に置き換えたいと考えています。これにより、変数の重要性に重点が置かれる場合があります。

ハレルのステップ14の完全なモデルの後に、検証と調整の5つのステップが続き、最後のステップがあります。

20. 希望する精度でモデルを近似することにより、完全なモデルの単純化を開発します。

他の回答が指摘しているように、モデリング結果の実用化には、実行可能性、コスト、シンプルさの問題があります。たとえば、予後を改善するが、1テストあたり10万ドルかかる新しい癌バイオマーカーを開発した場合、保険会社または政府に、目を見張るほど有用でない限り、テストの費用を納得させることは難しいかもしれません。そのため、誰かが「最も重要な」変数に焦点を合わせたり、正確なモデルを多少正確ではないが実装が簡単または安価なものに単純化したりすることは不合理ではありません。

しかし、この変数の選択とモデルの単純化は特定の目的のためである必要があり、私はそれが困難が生じる場所だと思います。この問題は、正しく分類された症例の割合のみに基づいて分類スキームを評価することに似ています。分類エラーが異なるとコストが異なるのと同様に、モデルの単純化スキームが異なるとコストが異なり、期待するメリットとバランスが取れます。

ですから、アナリストとして注目すべき問題は、統計的妥当性それ自体の抽象的な概念を心配するのではなく、統計モデリング手順でこれらのコストと利益を確実に推定し、説明する能力だと思います。たとえば、上にリンクされているHarrellのクラスノートの157-8ページには、ブートストラップを使用して最小二乗でランク付けされた予測子の変動を示す例があります。LASSOが選択した変数セットについても同様の結果が得られます。

変数選択におけるそのタイプの変動が、モデルの特定の実用的なアプリケーションの邪魔にならないなら、それは問題ありません。仕事は、簡素化がどの程度のトラブルを引き起こすかを推定することです。

これは完全な逸話ですが、GBMの間違いや弱点を特定するのに変数の重要性が役立つことがわかりました。

変数の重要度は、他の方法では取得するのが難しい、モデルの一種の巨大な断面の概要を提供します。リストの上位の変数には、より多くのアクティビティが表示されます（変数が「重要」であるかどうかは別の質問です）。多くの場合、振る舞いの悪い予測子（たとえば、前向きなもの、またはカーディナリティの高い要因）がトップになります。

直観変数の重要度とGBM変数の重要度の間に大きな不一致がある場合、通常、いくつかの貴重な知識を得るか、間違いを見つける必要があります。

「なぜこれを求めているのですか？」に3番目の答えを追加します。質問は、「自分の応答の原因を理解したいから」です。うん

さまざまな重要度ランキングは、プロセス、あらゆるプロセスへの潜在的に多数の入力に優先順位を付ける必要がある場合は常に、適用されるビジネスの世界で明確な役割を果たします。この情報は、問題を攻撃するための焦点を絞った戦略に関する方向性を提供します。変数が活用可能であり、操作の影響を受けない固定または構造的要因ではないため、プロセスコストの削減など、最も重要度の低いものから順に機能します。一日の終わりに、これはある種のA / Bテストになるはずです。

ただし、Mattは、通常のランキングと同様に、変数間のわずかなニュアンスや違いがあいまいまたはあいまいになり、その有用性が損なわれる可能性があります。

理論的な観点からは完全に同意します。しかし、実用的な観点では、変数の重要度は非常に便利です。

保険会社が、クライアントのリスクを定量化するアンケートの質問の数を減らしたいとします。アンケートが複雑になるほど、クライアントが製品を購入する可能性は低くなります。そのため、リスクの定量化レベルを維持する際に、あまり有用でない質問を減らしたいと考えています。解決策は、多くの場合、変数重要度を使用して質問表から削除する質問を決定することです（そして、見込み客のリスクプロファイルについて「ほぼ」同じ予測を持つ）。