目的関数、コスト関数、損失関数：それらは同じものですか？

機械学習では、人々は目的関数、コスト関数、損失関数について話します。それらは同じものの異なる名前ですか？それらをいつ使用するか？それらが常に同じものを参照していない場合、違いは何ですか？

これらは非常に厳密な用語ではなく、非常に関連しています。しかしながら：

• 損失関数は通常、データポイント、予測、ラベルで定義された関数であり、ペナルティを測定します。例えば：
  • 二乗損失、線形回帰で使用$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • SVMで使用されるヒンジ損失$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • 0/1損失、理論解析および精度の定義で使用$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• 通常、コスト関数はより一般的です。これは、トレーニングセットでの損失関数とモデルの複雑さのペナルティ（正則化）の合計です。例えば：
  • 平均二乗誤差$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • SVMコスト関数（をおよびトレーニングセットと接続する追加の制約があります）ξ I$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• 目的関数は、トレーニング中に最適化する関数の最も一般的な用語です。たとえば、最尤アプローチでトレーニングセットを生成する確率は明確に定義された目的関数ですが、損失関数でもコスト関数でもありません（ただし、同等のコスト関数を定義できます）。例えば：
  • MLEは目的関数の一種です（最大化する）
  • クラス間の発散は目的関数になる可能性がありますが、1-Divergenceなどの人工的なものを定義してコストと命名しない限り、ほとんどコスト関数ではありません

簡単に言えば、私はそれを言うでしょう：

損失関数は、目的関数の一種であるコスト関数の一部です。

Andrew Ng教授によると（11ページのスライドを参照）、

関数h（X）は仮説を表します。固定フィッティングパラメータシータの場合、これは機能Xの関数です。これは目的関数とも呼ばれます。

コスト関数Jは、フィッティングパラメーターthetaの関数です。J = J（シータ）。

Hastieらの教科書「統計的学習の要素」によると、p.37による：

「入力Xの値を与えられたYを予測するための関数f（X）を探します。」[...]損失関数L（Y、f（X））は「予測の誤差にペナルティを課す関数」です。

したがって、「損失関数」は「コスト関数」よりも少し一般的な用語のようです。そのPDFで「損失」を探す場合、「コスト関数」と「損失関数」を同義的に使用していると思います。

確かに、p。502

「[クラスタリング]の状況は、予測問題（教師あり学習）での損失またはコスト関数の仕様に多少似ています」。

おそらく、これらの用語は異なる学界で独立して進化したために存在します。「目的関数」は、Operations ResearchおよびEngineering Mathematicsで使用される古い用語です。「損失関数」は統計学者の間でより多く使用されているかもしれません。しかし、私はここで推測しています。

アンドリューNGの言葉で

「最後に、損失関数は、単一のトレーニング例に関して定義されました。単一のトレーニング例でどれだけうまくいっているかを測定します。次に、コスト関数と呼ばれるものを定義します。パラメータWとBに適用されるコスト関数Jは、各トレーニング例とターンに適用される損失関数の合計のmの1つで平均になります。」

「ディープラーニング」のセクション4.3-イアングッドフェロー、ヨシュアベンジョ、アーロンクールビル http://www.deeplearningbook.org/

「最小化または最大化する関数は、目的関数または基準と呼ばれます。最小化する場合、コスト関数、損失関数、またはエラー関数とも呼ばれます。本書では、これらの用語を同じ意味で使用します。一部の機械学習出版物は、これらの用語のいくつかに特別な意味を割り当てています。」

この本では、少なくとも、損失とコストは同じです。

あなたに短い答えを与えるために、私によると、彼らは同義です。ただし、最適化問題ではコスト関数がより多く使用され、パラメータ推定では損失関数が使用されます。

コスト関数と損失関数という用語は、エラー関数とも呼ばれる同義語です。より一般的なシナリオは、最初に目的関数を定義し、それを最適化することです。この目的関数は

1. 事後確率を最大化する（例、単純ベイズ）
2. フィットネス関数を最大化する（遺伝的プログラミング）
3. 総報酬/価値関数を最大化する（強化学習）
4. 情報ゲインの最大化/子ノードの不純物の最小化（CART決定木分類）5.平均二乗誤差コスト（または損失）関数の最小化（CART、決定木回帰、線形回帰、適応線形ニューロン、…
5. 対数尤度を最大化、またはクロスエントロピー損失（またはコスト）関数を最小化ヒンジ損失を最小化（サポートベクターマシン）

実際には、このようにm個のトレーニングデータがある場合（x（1）、y（1））、（x（2）、y（2））、。。。（x（m）、y（m））損失関数L（ycap、y）を使用して、単一のトレーニングセットのycapとyの間の損失を見つけます使用するトレーニングセット全体のycapとyの間の損失を見つけたい場合コスト関数。

注：-ycapはモデルからの出力を意味し、yは期待される出力を意味します

注：-クレジットはAndrew ngリソースに行きます：コースラニューラルネットワークとディープラーニング

損失関数は、単一のトレーニング例の誤差を計算しますが、コスト関数は、トレーニングセット全体の損失関数の平均です。