K = 1の場合のKNN分類器のトレーニングエラー

クイズでこの質問を受けました。K= 1の場合、KNN分類器のトレーニングエラーはどうなるのかと尋ねられました。KNN分類器にとってトレーニングは何を意味しますか？KNN分類器についての私の理解は、データセット全体を考慮し、新しい観測値に最も近いK近傍の大部分の値を割り当てることでした。トレーニングはどこにありますか？また、このために提供された正解は、データセットに関係なくトレーニングエラーがゼロになることでした。これはどのようにして可能ですか？

ここでのトレーニングエラーは、トレーニングセットをテストセットとしてKNNに入力したときに発生するエラーです。K = 1の場合、テストサンプルに最も近いトレーニングサンプルを選択します。テストサンプルはトレーニングデータセットにあるため、最も近いものとして選択され、間違いを犯しません。このため、K = 1の場合、データセットに関係なく、トレーニングエラーはゼロになります。ちなみに、ここでは論理的な仮定が1つあります。つまり、トレーニングセットには、異なるクラスに属する同じトレーニングサンプル（つまり、矛盾する情報）は含まれません。ただし、実際のデータセットの中には、このプロパティを持つものもあります。

視覚的に理解するには、KNNのトレーニングを、領域に色を付け、トレーニングデータの周囲に境界を描くプロセスと考えることができます。

まず、すべてのポイントのペアの垂直二等分線の交点を持つトレーニングセットの各ポイントの周囲に境界を描画できます。（垂直二等分線のアニメーションを以下に示します）

gifソース

$K=1$$x$$x'$$x$$0$$x=x'$

$x$$K=1$

青い領域に赤い点がなく、その逆もあることに注意してください。これは、トレーニングエラーが0であることを示しています。

決定境界は通常、異なるカテゴリ間でのみ描画されることに注意してください（すべての青、青、赤、赤の境界を破棄します）。したがって、決定の境界は次のようになります。

$K$$K=20$

$K = 20$

画像ソース