ニューラルネットワークの複雑さを測定するためのVC次元の代替手段は何ですか？

ニューラルネットワークの複雑さを測定するいくつかの基本的な方法に出会いました。

素朴で非公式：ニューロン、隠れニューロン、層、または隠れ層の数を数える
VC次元（Eduardo D. Sontag [1998]「ニューラルネットワークのVC次元」[ pdf ]）
との等価性による $TC^0_d$ 粗化および漸近計算の複雑さの尺度。

他の選択肢はありますか？

推奨されます：

複雑さのメトリックを使用して、同じスケールで異なるパラダイムからのニューラルネットワークを測定できる場合（バックプロップ、ダイナミクスニューラルネット、カスケード相関など）。たとえば、ネットワーク上のさまざまなタイプ（またはニューラルネットワーク以外のもの）でVC次元を使用できますが、ニューロンの数は、活性化関数、信号（基本和とスパイク）、およびその他の非常に特定のモデル間でのみ役立ちますネットワークのプロパティは同じです。
ネットワークで学習可能な機能の複雑さの標準的な尺度にうまく対応している場合
特定のネットワークでメトリックを簡単に計算できる場合（ただし、最後のネットワークは必須ではありません。）

ノート

この質問は、CogSci.SEに関するより一般的な質問に基づいています。

— アルテム・カズナチェフ
ソース

複雑さも学習アルゴリズムに依存すべきではありませんか？VC次元は、通常、凸損失関数を使用する方法に適用されます。非凸型の損失がある場合、モデル化によっていくつかのポイントを分離できる状況になる可能性がありますが、学習アルゴリズムではこの解決策を見つけることはできません。そのため、ネットワークの構造を使用して境界を設定することは非常に難しいはずです。@tdcには、一般化エラーが道であることに同意します。統計的学習理論に関するVapnikの論文は、それについて学習を始めるのに適した場所です。

— アンドレアスミューラー

回答:

ジョン・ラングフォード＆リッチ・カルアナによる真のエラーの境界（（Not）Bounding（NIPS、2001）をご覧ください。

要約状態：

PAC-Bayesの境界に基づく連続値分類器の真のエラー率を制限する新しいアプローチを提示します。このメソッドはまず、モデル内の各パラメーターがノイズに対してどの程度敏感であるかを判断することにより、分類器上に分布を構築します。PAC-Bayesバウンドを使用して、感度分析で見つかった確率的分類器の真のエラー率を厳密に制限できます。この論文では、2〜3桁の改善と最良の決定論的ニューラルネット境界の結果を備えた人工ニューラルネットワークの方法を示します。

彼らは、PAC-Bayesスタイルの境界を確率的ニューラルネットワークに適用できることを示しています。ただし、解析はS字型伝達関数を持つ2層フィードフォワードニューラルネットワークにのみ適用されます。この場合、複雑さの項は、ノードの数と重みの分散のみに依存します。彼らは、この設定の場合、オーバートレーニングがいつ発生するかを効果的に予測できることを示しています。ただし、残念ながら、「優先」プロパティにはまったくヒットしません。

— TDC
ソース

+1かっこいい-ありがとう、見てみよう。しかし、私はそれが好ましいプロパティのいずれにも適合せず、最初は実際にはネットワークの複雑さをそのパフォーマンスほど測定しているようには見えないことに同意します...しかし、それらは分離できないと思います。

— アルテムKaznatcheev

見ているのはGeneralization Errorです。通常、作成される境界には、トレーニングエラーに基づく項と、モデルの複雑さに基づくペナルティ項があります。あなたが興味を持っているのは複雑性の用語だけですが、それはほぼすべての要素になります。このビデオでは、私ができる以上に説明しています！

— tdc

この方向は正しくないと思います。エラーはネットワークの複雑さとは大きく異なります。ただし、既存の理論ではこの2つがあいまいになる場合があります。簡単な例は、エラーは少ないが複雑さが高い場合の過剰適合です。また、エラーは複雑さに対して直感に反する方法で動作する場合があります。バイアスなど。小さなネットワークではエラーを過小評価しているようです。etcetera

@vznですが、一般化エラーは将来のデータのエラーです。つまり、トレーニングエラーが低く複雑度が高い場合、エラーの範囲は緩やかになります。

— tdc

さらに、ピーターバートレット教授が行った脂肪を粉砕する次元の研究にも興味があるかもしれません。1998年のIEEE論文でのニューラルネットワークの複雑さの分析の概要は次のとおりです。ニューラルネットワークによるパターン分類のサンプルの複雑さ：重みのサイズはネットワークのサイズよりも重要です（Bartlett 1998）[ http： //ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=661502]

— ショーン・シン
ソース