VCディメンションの正確な定義は何ですか?


8

私はAndrew Ng Stanfordの講義から機械学習を勉強していて、VC次元の理論に出くわしました。講義と私が理解したことによると、VCディメンションの定義は、

分類器によって粉砕できるようにポイントのセットを見つけることができ(つまり、すべての可能な2 nラベリングを正しく分類する)、粉砕できるn + 1ポイントのセットを見つけることができない場合(つまり、任意のセットの場合)n + 1ポイントには、分類子がすべてのポイントを正しく分離できないように、少なくとも1つのラベル付け順序があります)。VCディメンションはnです。n2nn+1n+1n

また、教授は例を取り、これをうまく説明しました。それは:

みましょう、

H={set of linear classifiers in 2 Dimensions}

次に、次の図に示すように、分離した超平面を使用して、3つの点を正しく分類できます。H

ここに画像の説明を入力してください

そして、それがのVC次元が3である理由です。2D平面の任意の4つのポイントに対して、線形分類器はポイントのすべての組み合わせを粉砕することができないためです。例えば、H

ここに画像の説明を入力してください

このポイントのセットでは、このセットを分類するために描画できる分離超平面はありません。したがって、VCディメンションは3です。

私はここまでアイデアを得ました。しかし、次のタイプのパターンに従っている場合はどうでしょうか?

ここに画像の説明を入力してください

または、3つの点が互いに一致するパターン。ここでも、3つの点の間の分離超平面を描画できません。ただし、このパターンはVCディメンションの定義では考慮されていません。どうして?同じ点は私がここで見ている講義、ここ16:24でも議論されていますが、教授はこれの正確な理由について言及していません。

説明の直感的な例は高く評価されます。ありがとう


回答:


9

VCディメンションの定義は次のとおりです。分類子によって粉砕できるn個のポイントのセットが存在し、分類子によって粉砕できるn + 1個のポイントのセットがない場合、分類子のVCディメンションはnです。

定義は言っていません:n個のポイントのセットが分類子によって粉砕できる場合...

分類子のVC次元が3の場合、3点のすべての可能な配置を粉砕する必要はありません。

3ポイントのすべての配置の中で、分類子によって粉砕できるそのような配置を少なくとも1つ見つけることができ、粉砕できる4ポイントを見つけることができない場合、VCディメンションは3です。


1
次に、この場合、直線で分類できる任意の数の点の少なくとも1つのパターンを取得できます。たとえば、4つの点について考えます。左側の2つの赤い点と右側の2つの青い点は分類を可能にし、VCディメンションは4になります。
Kaushal28

分類-はい。シャッタード-いいえ
ウラジスラフグラドキク

では、ポイントの配置を粉砕することの意味は何ですか?私はここで本当に混乱しています。ありがとう
Kaushal28

ポイントの配置は、この配置のサブセットを分離して1つのクラスに入れることができる場合、粉砕することができます。たとえば、n点の特定の配置(すべての可能な配置ではなく、1つの特定の配置のみ)が特定のタイプの分類子によって粉砕できるかどうかをテストするとします。次に、1つのポイントを分離できるかどうかを最初にテストします。次に、2つのポイントを分離できる場合は、3つのポイントがある場合など、その特定の配置のn-1ポイントまで。こちらをご覧くださいen.wikipedia.org/wiki/Shattered_set
Vladislav Gladkikh

1
8つのサブプロットがある図は、何が粉々になっているのかを非常によく示しています。ここには3つのポイント、2つのクラスがあるため、これらの3つのポイントの2 ^ 3 = 8の可能なラベル付けがあります。8つのラベリングはすべてラインで行うことができ、ラインで分離できるため、このセットはラインで粉砕できます。4点の図:線で分離できるいくつかのラベルがあります(たとえば、2つの左は赤、2つの右は青です)が、線で分離できないラベルもあります(図のように、上部と下の青;左と右は左)。ラインで分離できないラベリングが施されているので、このセットは粉砕されていません。
Vladislav Gladkikh
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.