VCディメンションの計算方法は？

機械学習を勉強しています。VCディメンションの計算方法を教えてください。

例えば：

$h(x)=\begin{cases} 1 &\mbox{if } a\leq x \leq b \\ 0 & \mbox{else } \end{cases}$（、B ）∈ R 2、パラメータ。$(a,b) ∈ R^2$

それのVC次元は何ですか？

VCディメンションは、バイナリ分類子の機能の推定値です。あなたは一連の見つけることができる場合それは分類器によって粉々にすることができるようにポイントを、（すなわち分類すべての可能な正しくラベル付け）を、あなたはできません見つけるの任意のセット任意のセットのために、すなわち（粉々にできるポイントを分類器が正常にすべてのポイントを区切ることができないように、少なくとも一つのラベリング順序）がある点が、その後、VCの寸法である。2 n n + 1 n + 1 $n$$2^n$$n+1$$n+1$$n$

あなたのケースでは、最初に2つの点と考えます。たとえば、です。次に、可能なラベルがありますx 2 x 1 < x 2 2 2 = $x_1$$x_2$$x_1 < x_2$$2^2=4$

1. x 2：$x_1:1$、$x_2:1$
2. x 2：$x_1:0$、$x_2:0$
3. x 2：$x_1:1$、$x_2:0$
4. x 2：$x_1:0$、$x_2:1$

パラメータように設定することにより、分類子を介してすべてのラベル付けを実現できます。A < B ∈ $h$$a<b \in R$

1. $a<x_1<x_2<b$
2. $x_1<x_2<a<b$
3. $a<x_1<b<x_2$
4. $x_1<a<x_2<b$

それぞれ。（実際には、はwlogと見なすことができますが、粉砕できる1つのセットを見つけるには十分です。）$x_1 < x_2$

ここで、3つの任意（！）点、、およびwlogがであると想定すると、ラベル付け（1,0,1）を達成できません。上記のケース3のように、ラベル：1および：0は意味ます。これは、 > b を意味するため、のラベルは0である必要があります。したがって、分類子は3つの点のセットを粉砕できず、VC次元は2になります。$x_1$$x_2$$x_3$$x_1<x_2<x_3$$x_1$$x_2$$a<x_1<b<x_2$$x_3$$x_3$

-

多分それはより有用な分類器でより明確になります。超平面（つまり、2Dの線）を考えてみましょう。

ラベル付けの方法に関係なく、正しく分類できる3つのポイントのセットを簡単に見つけることができます。

すべての可能なラベル付けについて、それらを完全に分離する超平面を見つけることができます。$2^3=8$

ただし、4点のセットが見つからないため、可能なすべてのラベリングを正しく分類できました。正式な証明の代わりに、私は視覚的な議論を提示しようとします：$2^4=16$

今のところ、4つの点が4つの辺を持つ図形を形成していると仮定します。次に、反対側のコーナーに同じラベルを付けると、点を正しく分離できる超平面を見つけることができません。

それらが4辺の図を形成しない場合、2つの「境界ケース」があります。「外側」の点は、三角形を形成するか、すべて直線を形成する必要があります。三角形の場合、「内側」の点（または2つの角の間の点）に他の点とは異なるラベルが付けられているラベリングが達成できないことが簡単にわかります。

線分の場合も同様です。端点に他の点の1つとは異なるラベルが付けられている場合、それらを超平面で分離することはできません。

2Dで4ポイントの可能なフォーメーションをすべてカバーしたので、粉砕できる4ポイントはないと結論付けることができます。したがって、VCディメンションは3でなければなりません。

分類子のVCディメンションは、次の方法で決定されます。

VC = 1
found = False
while True:
    for point_distribution in all possible point distributions of VC+1 points:
        allcorrect = True
        for classdist in every way the classes could be assigned to the classes:
            adjust classifier
            if classifier can't classify everything correct:
                allcorrect = False
                break
        if allcorrect:
            VC += 1
            continue
    break

したがって、このポイント配置間のすべての可能なクラス分布が正しい方法で分類できるように、3つのポイントを配置する方法は1つだけです。

3点を線上に配置しないと、認識は正しくなります。しかし、どのようにポイントを配置しても、知覚に4ポイントのすべての可能なクラス分布を分類させる方法はありません。

あなたの例

あなたの機能はます。すべての分類子には、少なくとも次元1があります。$\mathbb{R}$

VCディメンション2：4つの状況すべてを正しく分類できます。

1. ポイント：0および42
2. 分布：
   • class（0）= False、class（42）= False =>はこれを正しく分類します$a = 1337, b=3141$
   • class（0）= False、class（42）= True =>はこれを正しく分類します$a = 40, b = 1337$
   • class（0）= True、class（42）= False =>はこれを正しく分類します$a = -1, b = 1$
   • class（0）= True、class（42）= True =>はこれを正しく分類します。$a = -1, b = 1337$

VCディメンション3：いいえ、それは機能しません。クラスtrueを想像して、次のfalseように注文してくださいTrue False True。あなたの分類子はそれを扱うことができません。したがって、VC次元は2です。

証明

明らかに、点は、値が異なる場合にのみ区別できます。一般性を失うことなく、と想定できます。したがって、分類子は分類できる必要があります$x_1, x_2, x_3 \in \mathbb{R}$$x_1 < x_2 < x_3$

class（）= True、class（）= False、class（）= True$x_1$$x_2$$x_3$

正しくはVC次元3 になりますをTrueとして分類するには が必要です。ため falseに、 必要です。およびとしてでなければなりません。状況は、現在あるよう： については真に分類される、 必要です。しかし、他の制約ではすでに必要でした。したがって、この分類器では、任意の3点のすべてのクラス分布を正しく分類することはできません。したがって、VC次元3はありません。$x_1$

$$a \leq x_1 \leq b$$ $x_2$ A ≤ X 1 、X 1 < X 2 B < X 2 A ≤ X 1 ≤ B < X 2 < X 3 X 3、A ≤ X 3 ≤ B B < X $$x_2 < a \qquad\text{ or }\qquad b < x_2$$ $a \leq x_1$$x_1 < x_2$$b < x_2$ $$a \leq x_1 \leq b < x_2 < x_3$$ $x_3$ $$a \leq x_3 \leq b$$ $b < x_3$