ニューラルネットワークの機能を選択する方法は?


16

この質問に対する明確な答えはないことはわかっていますが、大量のデータを持つ巨大なニューラルネットワークがあり、入力に新しい機能を追加したいとします。「最良の」方法は、新しい機能を使用してネットワークをテストし、結果を確認することですが、機能が非常に役立つかどうかをテストする方法はありますか?相関測定(http://www3.nd.edu/~mclark19/learn/CorrelationComparison.pdf)などが好きですか?


1
ランダムではない相関関係は、この機能有用であることの指標になる場合があります。しかし、アイデアを除外する可能性のある事前トレーニングテストについては、私はよくわかりません。リンクする論文では、利用可能なテストでは非線形相関が十分に検出されないことを明確にしていますが、ニューラルネットではそれらを見つけて使用する可能性があります。
ニールスレーター14

回答:


16

新しい機能と既存の機能の間の非常に強い相関関係は、新しい機能がほとんど新しい情報を提供しないというかなり良い兆候です。新しい機能と既存の機能の間の低い相関関係が望ましいと思われます。

新しい特徴と予測変数の間の強い線形相関は、新しい特徴が価値があることを示す良い兆候ですが、ニューラルネットワークは線形の組み合わせに限定されないため、高い相関の欠如は貧弱な特徴の兆候ではありません変数の。

新しい機能が既存の機能の組み合わせから手動で構築された場合は、除外することを検討してください。ニューラルネットワークの利点は、フィーチャエンジニアリングと前処理がほとんど必要ないことです。代わりに、フィーチャは中間層によって学習されます。可能な限り、それらを設計するよりも学習機能を優先します。


予測する値を機能と比較することを常に考えていました。機能間の相関関係について話しているのです。あなたの答えは私の場合にも当てはまりますか?理論的には、予測する値に相関する新しい機能のみを追加する必要がありますか?
marcodena

それも貴重な測定基準です-私の答えを更新して、それに対処するだけです。
マディソン14

つまり、予測する値との強い相関は大きな兆候ですが、予測する値との弱い相関は必ずしも悪い兆候ではありません。
マディソン14

ありがとう。私はレポートを書いていますが、機能を正当化するために(結果の前でさえ)線形/非線形相関を表示したかったのです。それは理にかなっていますか?あなたの答えから私は相関関係のマトリックスが、多分それのnosenseを作ることができる
marcodena

1
私は、非線形相関を使用しますが、[OK]を感謝します
marcodena

0

sklearnを使用している場合、model.feature_importances_と呼ばれる適切な関数が利用可能です。モデル/新機能を試してみて、それが役立つかどうかを確認してください。また、見て、ここここに例のために。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.