問題固有の損失関数の作成

問題の説明

単純なMSE回帰よりもはるかに洞察に富んだ損失関数が存在する可能性があると感じている問題について、ネットワーク構築を開始しています。

私の問題は、マルチカテゴリ分類を扱います（これについて私が何を意味するかについては、SOに関する私の質問を参照してください）。ここで、考慮すべきカテゴリ間の距離または関係が定義されています。

もう1つのポイントは、存在する発砲カテゴリーの数によってエラーが影響を受けることはないということです。つまり、0.1ずつずれた5つの発砲カテゴリのエラーは、0.1ずつずれた1つの発砲カテゴリと同じになります。（発砲とは、それらがゼロ以外、またはあるしきい値を超えていることを意味します）

キーポイント

• マルチカテゴリー分類（一度に複数発火）
• カテゴリー間の関係
• 発砲カテゴリーの数は損失に影響しないはずです：
  • 

私の試み

平均二乗誤差は、開始するのに適しているようです：

これは、カテゴリーごとに考慮しているだけです。これは、私の問題では依然として価値がありますが、全体像の大部分を見逃しています。

これが、カテゴリー間の距離の考えを修正するための私の試みです。次に、発火するカテゴリの数を考慮します（これを v と呼びます）。

私の質問

私は統計学の背景が非常に弱いです。その結果、このような問題を解決するためのツールはベルトにあまりありません。私が求めていることの包括的なトピックは、「コスト関数を形成するとき、どのようにしてコストの複数の測定値を組み合わせるのですか？それとも、どのような手法を適用できるのですか？」。また、私の思考プロセスに欠陥があった場合は、それを公開して改善していただければ幸いです。

説明せずに誰かが単独で修正するのではなく、なぜ私の間違いが間違いなのかを教えられることを大切にしています。

この質問の一部が明確でないか、改善できる場合は、お知らせください。

分類損失の上限であるヒンジ損失を使用できます。つまり、最高スコアのカテゴリのラベルがグラウンドトゥルースクラスのラベルと異なる場合、モデルにペナルティが課されます。

分類損失とヒンジ損失の関係の詳細については、CNJ YuとT. Joachims によるこの素晴らしい論文のセクション2を参照してください。

要約すると、あるタスク損失通常で示さ、の出力を予測するためのペナルティ測定、Yを（X I）入力のためにxはIを期待するとき（グランドトゥルース）出力はy iです。多クラス分類のためのタスクの損失は、通常のように定義されるΔ （Y I、Y（X I）） = 1$\Delta \left( y_i, \hat{y}(x_i) \right)$$\hat{y}(x_i)$$x_i$$y_i$。しかし、限り Δは 2枚のしかラベルに依存 Yと Y、あなたはしかし、あなたがしたい、それを定義することができます。具体的には、一方が表示でき Δを任意として K × Kの行列 Kは、カテゴリの数であり、 Δ （、bは）カテゴリの入力分類のペナルティを示し Aをカテゴリに属するものとして Bを。$\Delta \left( y_i, \hat{y}(x_i) \right) = \mathbf{1}\{ y_i \neq \hat{y}(x_i) \}$$\Delta$$y$$\hat{y}$$\Delta$$K \times K$$K$$\Delta(a, b)$$a$$b$

例えば： $\\\text{input data}: \\ \{(x_1, y_1), (x_2, y_2), (x_3, y_3)\}, \quad x_i \in \mathbb{R}^d, \quad y_i \in \mathcal{Y}=\{c_1, c_2, c_3, c_4\} \\ \text{network predictions}:\\ \hat{y}(x_1)=c_2, \quad \hat{y}(x_2)=c_1, \quad \hat{y}(x_3)=c_3 \\ \text{task loss matrix}:\\ \begin{bmatrix} \Delta(y_{1}, y_{1}) & \Delta(y_{1}, y_{2}) & \Delta(y_{1}, y_{3}) & \Delta(y_{1}, y_{4}) \\ \Delta(y_{2}, y_{1}) & \Delta(y_{2}, y_{2}) & \Delta(y_{2}, y_{3}) & \Delta(y_{2}, y_{4}) \\ \Delta(y_{3}, y_{1}) & \Delta(y_{3}, y_{2}) & \Delta(y_{3}, y_{3}) & \Delta(y_{3}, y_{4}) \\ \Delta(y_{4}, y_{1}) & \Delta(y_{4}, y_{2}) & \Delta(y_{4}, y_{3}) & \Delta(y_{4}, y_{4}) \end{bmatrix} = \begin{bmatrix} 0 & 1 & 2 & 3 \\ 1 & 0 & 1 & 2 \\ 2 & 1 & 0 & 1 \\ 3 & 2 & 1 & 0 \end{bmatrix} \\ \text{classification loss assuming $\quad y_1=c_4, \quad y_2=c_1, \quad y_3=c_4$:} \\ \Delta(y_1, \hat{y}(x_1)) = \Delta(c_4, c_2) = 2 \\ \Delta(y_2, \hat{y}(x_2)) = \Delta(c_1, c_1) = 0 \\ \Delta(y_3, \hat{y}(x_3)) = \Delta(c_4, c_3) = 1 \\ $