私は機械学習を勉強していて、VC次元の概念と自由度のより古典的な(統計的)概念の間に強い関係があると感じています。
誰かがそのようなつながりを説明できますか?
私は機械学習を勉強していて、VC次元の概念と自由度のより古典的な(統計的)概念の間に強い関係があると感じています。
誰かがそのようなつながりを説明できますか?
回答:
Yaser Abu-Mostafa教授が述べたように
自由度は、パラメーターの有効数を抽象化したものです。有効な数は、使用される実数値パラメーターの数ではなく、取得できる二分法の数に基づいています。2次元パーセプトロンの場合、勾配と切片(および領域が+1になるバイナリの自由度)を考えることができます。または、3つのパラメーターw_0、w_1、w_2を考えることができます(ただし、重みは結果の仮説に影響を与えることなく、同時にスケールアップまたはスケールダウンします)。ただし、自由度は3です。これは、3つの点を粉砕する柔軟性があるためであり、パラメーターの数をカウントする方法が異なるためではありません。