ディープラーニングを使用した特徴選択？

ディープモデルを使用して各入力フィーチャの重要度を計算したい。

しかし、深層学習を使用した特徴選択についての論文は1つしか見つかりませんでした- 深部特徴選択。最初の非表示レイヤーの前に、各フィーチャに直接接続されたノードのレイヤーを挿入します。

ディープ・ビリーフ・ネットワーク（DBN）もこのような仕事に使えると聞きました。しかし、DBNはPCAのような機能の抽象化（クラスター）しか提供しないと思うので、次元を効果的に削減できますが、各機能の重要度（重み）を計算できるかどうか疑問に思います。

DBNで機能の重要度を計算することは可能ですか？また、ディープラーニングを使用して特徴を選択する他の既知の方法はありますか？

ほとんどすべての予測モデルに使用できるアプローチの1つは、まずモデルをトレーニングしてその精度を見つけ、次に1つの入力にノイズを追加して精度を再度チェックすることです。各入力に対してこれを繰り返し、ノイズが予測をどのように悪化させるかを観察します。入力が重要である場合、ノイズによる余分な不確実性は有害です。

問題の入力の分散に比例するようにノイズの分散を設定することを忘れないでください。

もちろんノイズはランダムであり、ランダムな効果のために1つの入力が重要ではないようにしたくない場合。トレーニング例が少ない場合は、新しいノイズを毎回追加して、各トレーニング例の精度の変化を繰り返し計算することを検討してください。

コメントへの応答：

この分析は、変数を完全に削除することでも実行できますが、これにはノイズを追加することに比べていくつかの欠点があります。

• 入力の1つが定数であるとすると、バイアス項のように機能するため、予測で何らかの役割を果たすが、情報は追加されません。この入力を完全に削除すると、パーセプトロンに誤ったバイアスがかかるため、予測の精度が低下します。これにより、情報が追加されていなくても、入力が予測にとって重要であるように見えます。ノイズを追加してもこの問題は発生しません。すべての入力をゼロ平均に標準化した場合、この最初の点は問題ではありません。

• 2つの入力が相関している場合は、1つの入力に関する情報から他の入力に関する情報が得られます。相関する入力の1つだけを使用して、分析で1つの入力が役に立たないことを検出したい場合は、モデルを適切にトレーニングできます。入力の1つを削除した場合、最初のポイントと同様に、予測精度が大幅に低下し、それが重要であることを示します。ただし、ノイズを追加してもこの問題は発生しません。

多分このペーパーをチェックしてください：https：//arxiv.org/pdf/1712.08645.pdf

彼らはドロップアウトを使用して機能をランク付けします。

...この作業では、入力フィーチャレイヤーでドロップアウトの概念を使用し、対応するフィーチャごとのドロップアウト率を最適化します。各機能は確率的に削除されるため、この方法では機能バギング（Ho、1995）と同様の効果が得られ、LASSOなどの他の非バギング方法よりも相関機能をランク付けできます。ランダムフォレスト（RF）、LASSO、ElasticNet、マージナルランキング、およびディープフィーチャーの選択やさまざまなヒューリスティックなどのDNNの重要性を導き出すためのいくつかの手法と、この手法を比較します...

この投稿をご覧ください：https : //medium.com/@a.mirzaei69/how-to-use-deep-learning-for-feature-selection-python-keras-24a68bef1e33

そしてこのペーパー：https : //arxiv.org/pdf/1903.07045.pdf

彼らは特徴選択に深いモデルを適用するための素晴らしいスキームを提示します。