回帰モデルのVCディメンション


12

講義シリーズ「データから学ぶ」で、教授は、VCディメンションが、特定のモデルが粉砕できるポイントのモデルの複雑さを測定することについて言及しています。したがって、これは分類モデルで完全にうまく機能します。分類子がkポイントを効果的に粉砕できれば、VCディメンションの測定値はKになります。ただし、回帰モデルのVCディメンションをどのように測定するのかは明確ではありませんでした。 ?


回答:


3

以下からの統計的学習の要素、P。238:

これまで、インジケーター関数のVCディメンションのみについて説明してきましたが、これは実数値関数に拡張できます。実数値関数のクラスのVCディメンションは、インジケータークラスのVCディメンションとして定義されています、ここではgの範囲の値を取ります。1G X α - β > 0 βg(x,α)1(g(x,α)β>0)β

または、(少し)より直感的に、実数値関数のクラスのVCディメンションを見つけるには、実数値関数のクラスをしきい値処理することによって形成できるインジケーター関数のクラスのVCディメンションを見つけることができます。


ただし、これによりしきい値インジケーターのVCディメンションが得られます。額面では、しきい値インジケーターのPAC境界を取得すると、回帰関数のパフォーマンスがどのように示されるかはわかりません。おそらく、(制限された出力ドメインの)リグレッションされた値をバイナリ検索する引数を考え出すことができます。
VF1 2018年

@ VF1真。回帰関数のVCディメンションを解釈する方法は、別の良い質問になります。
Seanイースター

私は別の質問を投稿しますが、Rademacherは任意の有限の損失に対して同じようにできるので、答えは単に「回帰にVC dimを使用しないでください」と思います。
VF1 2018年

@ VF1興味を持ってそう言った答えを読みます!つまり、CVの基準は質問を投稿ごとに1つの質問に制限することであり、OPは解釈や目的に触れなかったということです。
Seanイースター

0

Lebesgue-Stieltjes測度を使用したしきい値インジケータートリックの導出については、統計学習(Vapnik)のセクション5.2を参照してください。私の知る限り、これは唯一の決定的なリファレンスです。あなたはすでに本をどこで見つけるか知っているべきです(そしてVapnikからの他のもの、それらはすべて最高です)。


1
単に参照を提供するのではなく、議論を要約できれば助かります。
mdewey
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.