機械学習のコンテキストで、wikiに損失関数の定義が見つかりませんでした。
これはあまり正式ではありませんが、十分に明確です。
基本的に、損失関数は信じられないほど単純です。これは、アルゴリズムがデータセットをどれだけうまくモデル化しているかを評価する方法です。予測が完全にオフの場合、損失関数はより高い数値を出力します。それらがかなり良い場合、より低い数を出力します。アルゴリズムの一部を変更してモデルを改善しようとすると、損失関数は、どこかに到達したかどうかを通知します。
と思われるKNNのエラーレートが、そのような勾配法など自体が最適化モデルを導く可能性が関数ではありません。
では、KNNには損失関数がありますか？
回答:
-NNには、トレーニング中に最小化できる損失関数がありません。実際、このアルゴリズムはまったくトレーニングされていません。 -NNで発生する唯一の「トレーニング」は、データの記憶（ローカルコピーの作成）であるため、予測時に検索と多数決を行うことができます。技術的には、データに関数が適合しないため、最適化は行われません（勾配降下を使用してトレーニングすることはできません）。
受け入れられた回答に同意しません（やや）。
KNNは分類アルゴリズムであり、損失関数なしで分類アルゴリズムを実行しても意味がありません。アルゴリズムがどれだけうまく機能したかに興味があるでしょう。KNNの場合、たとえば、各クラスの平均精度の合計を調べることにより、分類の品質を評価できます。または、アルゴリズムの精度のみに集中することもできます。
KNNを強化する最適化方法は損失関数に依存しないため、トレーニング中は、損失関数にアピールすることはなく、勾配降下法を使用してトレーニングすることもありません。
これを次の「K最近傍分類子」と対照的にしてくださいクラスの場合、最初に平均をトレーニングし、次に各重心に属する主要なポイント数によって各ポイントのクラスを定義します。たとえば、このアルゴリズムを各重心からの最小二乗誤差の段階的な最小化でトレーニングすることができます（最近傍に基づいて重心を再計算します）。これには依存しないオリジナルのアルゴリズムにもかかわらず、クラス。