VC次元と自由度の関係


9

私は機械学習を勉強していて、VC次元の概念と自由度のより古典的な(統計的)概念の間に強い関係があると感じています。

誰かがそのようなつながりを説明できますか?

回答:


7

Yaser Abu-Mostafa教授が述べたように

自由度は、パラメーターの有効数を抽象化したものです。有効な数は、使用される実数値パラメーターの数ではなく、取得できる二分法の数に基づいています。2次元パーセプトロンの場合、勾配と切片(および領域が+1になるバイナリの自由度)を考えることができます。または、3つのパラメーターw_0、w_1、w_2を考えることができます(ただし、重みは結果の仮説に影響を与えることなく、同時にスケールアップまたはスケールダウンします)。ただし、自由度は3です。これは、3つの点を粉砕する柔軟性があるためであり、パラメーターの数をカウントする方法が異なるためではありません。

2次元パーセプトロン


これは自由度の非常に非標準的な定義だと思います!
kjetil b halvorsen 2015

0

VCディメンションについては、このペーパーのセクション2.1以降で、基本的な補題と証明を使用して非常によく説明されています。あなたはこれを通過することができます。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.