古典的なNNよりもベイズの正則化されたNN

古典的なニューラルネットワークは通常、十分な汎化能力を欠いており、通常は不正確な予測をもたらすと主張するいくつかの研究記事を見てきました。ベイズの正則化ANN（BRANN）は、標準の逆伝播ネットよりも堅牢であり、長い相互検証の必要性。

ただし、これらの記事は、この主張に対して適切な理由付け/正当化を行うには不十分です。

BRANNはどのような方法で、またはどのような目的で従来のNNよりも優れていますか？なぜ？

ニューラルネットの主な問題は、過剰適合を防ぐことです。ベイジアン正則化（重みの大きさを制限する）はこれへの1つのアプローチであり、構造的安定化（つまり、非表示ノードおよび/または重みの数を制限することは別の方法です）。どちらのアプローチも万能薬ではありません。一般に、正則化と構造安定化の組み合わせの方が優れています（つまり、ネットワークアーキテクチャを選択するには、相互検証を再度行う必要があります。ベイジアンエビデンスを使用すると、結果としてエビデンスが偏るので、悪い考えです。正則化パラメーターの調整での使用と、モデルの指定ミスがある場合は信頼できません）。どちらが最も効果的に機能するかは、本質的に問題に依存します。調べるための最善の方法は、両方を試してみることです（たとえば、相互検証を使用して、偏りのない方法でパフォーマンスを推定します）。

また、正規化はベイジアンである必要はありません。代わりに交差検証を使用してネットワークを正規化する量を選択できます。ベイジアン手法の問題の1つは、モデルが指定されていない場合に悪い結果をもたらす可能性があることです。この場合、交差検証に基づく正則化手法の方が堅牢になる可能性があります。

別の重要な点は、すべてのベイジアンニューラルネットワークの定式化が同じというわけではないということです。MacKayのエビデンスフレームワークは、それが使用するラプラス近似が重みの歪んだ事後分布に対してあまりうまく機能しないため、分類問題に対してはうまく機能しない傾向があります。ラドフォードニールのMCMCアプローチは、これらのタスクに適している可能性がありますが、計算コストが高く、収束などの評価はそれほど簡単ではありません。

ただし、ニューラルネットワークモデルはかなり手間がかかり、実際にはカーネルメソッドまたはガウスプロセスから優れた汎化パフォーマンスを取得する方が簡単なので、特にトレーニングデータが比較的少ない場合は、ほとんどのタスクで代わりに使用します。

私はこれについて非常に広範な実証研究を最近行いましたが、実務家に関心のある実証研究を受け入れるが、新しい研究内容はほとんどないジャーナルを見つける必要があります。

通常のANNと同じ目的でBRANNを使用します。通常、分類と回帰です。Dikran Marsupialが言うように、オーバーフィッティングに対してより堅牢であり、オーバーフィッティングに遭遇することなく、より多くのニューロンを扱うことができるので、より優れています。さらに、出力にエラーバーが表示されます。つまり、各出力の信頼度の測定値が得られます。

それにもかかわらず、dropoutやmaxout などの新しい手法は、使いやすく、より良い結果が得られるため、この手法をオーバーライドしたようです。ここでドロップアウトは、ある意味でスケーリングと正則化を実行することが示されています。

それでも、詳細に興味がある場合は、David MacKay（この手法でいくつかのコンテストで優勝した人）の論文を確認できます。