ニューラルネットワークモデリングを効果的に実行するには？

観測値の数と変数の数の比はどのくらいですか？ニューラルネットワークモデルで過剰適合を検出する方法と、過剰適合を回避する方法は何ですか？ニューラルネットワークを使用して分類を実行する場合、クラスの頻度を等しくする必要がありますか？私を助けてください。

私が与えるアドバイスは次のとおりです。

1. 特に多くの特徴があり、観測が多すぎない場合は、ニューラルネットに進む前に線形モデルの可能性を使い果たします（ロジスティック回帰など）。多くの問題では、ニューラルネットは単純な線形分類器を上回っていません。問題がこのカテゴリにあるかどうかを調べる唯一の方法は、それを試してみることです。

2. カーネルメソッド（サポートベクターマシン（SVM）、カーネルロジスティック回帰など）、ガウスプロセスモデルを最初に調査します。どちらの場合も、過適合は少数のハイパーパラメーターを調整することにより効果的に制御されます。カーネル法の場合、これはしばしば交差検証によって実行されます。ガウスプロセスモデルの場合、これは限界尤度（モデルのベイジアン「証拠」とも呼ばれる）を最大化することによって実行されます。過剰適合を回避する方法は非常に簡単なので、これらの方法を使用すると、ニューラルネットワークを使用するよりも合理的なモデルを取得する方がはるかに簡単です。

3. 本当にニューラルネットワークを使用する場合は、フィードフォワードMultilayer Perceptron（MLP）タイプのネットワークではなく、（正規化された）放射基底関数ネットワークから始めます。

4. MLPを使用する場合は、正規化を使用します。使用すると、隠れユニットの数の最適化など、アーキテクチャに関する選択に対する感度が低下します。代わりに、正規化パラメーターに適切な値を選択するだけです。MacKayのベイジアン「証拠フレームワーク」は、正則化パラメーターを設定するための優れた方法を提供します。正則化を使用する場合、観測値の数と変数の数は問題になりません。

過剰適合を検出するには、交差検証を実行して一般化パフォーマンスをテストします。

頻度が等しいクラスに関して、覚えておくべきことは、バランスの取れたトレーニングセットでモデルをトレーニングするが、運用データでクラスのバランスが取れていない場合、モデルは少数派クラスを過小予測する可能性が非常に高いことです。ロジスティック回帰やニューラルネットワークなどの確率的分類器を使用する場合、トレーニング後に推定確率をいつでも修正することができます。データセットのバランスが非常に悪い場合は、相互検証によって選択された重み係数を使用して、ポジティブクラスとネガティブクラスのパターンの差分加重をお勧めします。

ただし、クラスのバランスが非常に悪い場合、通常、偽陰性と偽陽性のエラーに異なるコストがかかります（たとえば、医療スクリーニングテストでは、偽陰性は偽陽性よりもはるかに悪いです）。そのため、多くの場合、ネットワークのトレーニングに使用されるエラー関数に誤分類コストを含めるだけで済みます。

あなたが（私のような）MATLABユーザーであれば、NETLABソフトウェア（Ian NabneyとChris Bishop）またはRasmussenとWilliamsの書籍Gaussian Process for Machine Learningに付属するソフトウェアを強くお勧めできます。他にも、ニューラルネットワークを始めた人には、クリスビショップによる「パターン認識のためのニューラルネットワーク」という本を強くお勧めします。それは素晴らしい本であり、あなたが何をしているのかを本当に理解するのに必要な非常に明快で数学の最小限のレベルで資料をカバーします、そして、それのほとんどはNETLABソフトウェア（Octaveの下でも動くかもしれません）で実装されます。

HTH

PSニューラルネットを使用したモデリングの最良の方法は、おそらくラドフォードニールが開発したハイブリッドモンテカルロ（HMC）に基づくベイジアンアプローチを使用することです。一般に、いくつかのパラメーターを最適化しようとすると、モデリングで問題が発生し、オーバーフィッティングになります。最良の解決策は、何も最適化せず、代わりにパラメーターを無視（統合）することです。残念ながら、この統合は分析的に実行できないため、代わりにサンプリングベースのアプローチを使用する必要があります。ただし、これは（a）計算コストが高く、（b）ちょっとした「ブラックアート」であり、深い理解と経験が必要です。