損失関数と決定関数の違いは何ですか？

どちらの機能も、勾配ブースティング回帰子などのデータマイニングメソッドの一部であることがわかります。それらも別々のオブジェクトであることがわかります。

一般的に両者の関係はどうですか？

決定機能は、入力としてデータセットを受け取り、出力として決定を与える関数です。何を決定できるかは、目の前の問題に依存します。例は次のとおりです。

• 推定問題：「決定」は推定です。
• 仮説検定の問題：帰無仮説を棄却するか否かを決定します。
• 分類の問題：新しい観測（または複数の観測）をカテゴリに分類することが決定されます。
• モデル選択の問題：決定は、候補モデルの1つを選択することです。

通常、問題に対して使用できる決定関数の数は無限です。例えば、10個の観測に基づいてスウェーデンの男性の身長を推定することに興味がある場合、次の決定関数d （x）のいずれかを使用できます。$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• サンプル平均：。$d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• サンプルの中央値：$d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• サンプルの幾何平均：$d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• ：常に1を返すこと関数、にかかわらずの値のX。馬鹿げていますが、それでも有効な決定関数です。$d(\mathbf{x})=1$$\mathbf{x}$

これらの決定関数のどれを使用するかをどのように決定できますか？1つの方法は、可能なすべての決定に関連する損失（またはコスト）を記述する損失関数を使用することです。異なる決定関数は、さまざまなタイプのミスにつながる傾向があります。損失関数は、どのタイプの間違いをもっと気にする必要があるかを教えてくれます。最適な決定関数は、予想される損失が最小になる関数です。予想される損失が意味することは、設定によって異なります（特に、頻度統計またはベイジアン統計について話しているかどうか）。

要約すれば：

• 決定関数は、データに基づいて決定を行うために使用されます。
• 損失関数は、使用する決定関数を決定するために使用されます。

損失関数は、ある意味で最適なモデルを得るために最小化されるものです。モデル自体には、予測に使用される決定関数があります。

たとえば、SVM分類子の場合：

• $\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• $f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$