one-vs-all分類器によるヒンジ損失

9

私は現在、1対すべての分類器の制約のない主形式を調べています

\sum_{i = 1}^{N_{I}} \sum_{\binom{k = 1,}{k \neq y_{i}}}^{N_{K}} L (1 + w_{k} \cdot x_{i} - w_{y_{i}} \cdot x_{i})

$\sum\limits_{i=1}^{N_I} \sum\limits_{k=1,\atop k \neq y_i}^{N_K} L(1+ \mathbf{w_k}\cdot\mathbf{x_i}-\mathbf{w_{y_i}}\cdot\mathbf{x_i})$

どこ

はインスタンスの数、はクラスの数、は特徴の数、はデータ行列、はクラスラベルのベクトル、は 1つのクラスを残りのクラスから分割する超平面の重みにそれぞれが対応する行列、は任意の損失関数です。 $N_I$
$N_K$
$N_F$
$X$ $N_K \times N_F$
$y$
$W$ $N_K \times N_I$
$L$

私の理解では、上記の汎関数は、関連するクラス内のサンプルと他のすべてのサンプルとの間の距離を最大化する各クラスの超平面を見つけようとします。超平面が正しく、その後に配置されている場合は常に、負でなければなりません常に正でなければなりませんし、私たちの損失関数がかなり低く戻ってくるはずです。 $\mathbf{w_k}\cdot\mathbf{x_i}$ $\mathbf{w_{y_i}}\cdot\mathbf{x_i}$

私はこの場合、結局はヒンジ損失を使用してこれを実装しようとしています

$\max(0,1+\mathbf{w_k}\cdot\mathbf{x_i}-\mathbf{w_{y_i}}\cdot\mathbf{x_i}$

ただし、上記では、超平面がすべてのサンプルをすべてのクラスに属するものとして分類する状況に陥ることはありませんでした。たとえば、1という条件で、クラス1を他のすべてのクラスから分離する超平面を見ている場合その場合、が誤ったクラスとして分類されていても、発生した損失は0になります。 $1+\mathbf{w_k}\cdot\mathbf{x_i}<\mathbf{w_{y_i}}\cdot\mathbf{x_i}$ $\mathbf{x_i}$

どこが間違っているのですか？または、がより高いスコアで終わるという条件で、が負であるか正であるかは関係ありませんか？ここで説明したヒンジ機能の使用は正しくないと感じていますが、今日のGoogleの使用は混乱を招いているだけです。 $\mathbf{w_k}\cdot\mathbf{x_i}$ $\mathbf{w_{y_i}}\cdot\mathbf{x_i}$

関連するメモで、上記の機能に1があるのはなぜですか？影響は少ないと思います。

classification loss-functions

— brcs
ソース

2

あなたの投稿はほぼ正しいようです。

マルチクラス線形分類器が設定される方法は、例、最高スコアを与える超平面によって分類されることです：。これらのスコアが正か負かは問題ではありません。 $x$ $\underset{k}{\mathrm{argmax}\,} w_k \cdot x$

特定の例のヒンジ損失がゼロの場合、これは例が正しく分類されていることを意味します。これを確認するには、場合、ヒンジ損失はゼロになります。これはよりも強い条件で、例が正しくとして分類されたことを示します。 $1+w_{k}\cdot x_i<w_{y_i}\cdot x_i \;\forall k$ $w_{k}\cdot x_i<w_{y_i}\cdot x_i \;\forall k$ $i$ $y_i$

ヒンジ損失の1は、分類子の「マージン」に関連しています。

ヒンジ損失により、正しいクラススコアが他のすべてのクラススコアよりも高くなるだけでなく、これらのスコアよりも加法因子だけ高くなることが奨励されます。 $w_{y_i}\cdot x_i$ $w_k\cdot x_i$

超平面からの点の距離は線形重みの大きさによってスケーリングされるため、値1をマージンに使用できます。は、超平面からのの距離です。法線ベクトル。重みはデータセット内のすべてのポイントで同じであるため、スケールファクター1がすべてのデータポイントで同じであることだけが重要です。 $\frac{w}{|w|}\cdot x$ $x$ $w$

また、損失関数をとしてパラメーター化すると、状況がわかりやすくなる場合があります。現在、線形マージンの関数として損失関数があり、これは必ずしもそうではありません。 $L(x,y;w)$

— ユーザー1149913
ソース

サイトへようこそ。ここではを使用できます。それを適切にレンダリングするには、インライン数学の場合は単一のドル記号（ドキュメントの場合と同様）でラップし、表示数学の場合はダブルドル記号で囲みます。さらにヘルプが必要な場合は、変更履歴を確認してください。

L A T E X

$\LaTeX$

L A T E X

$\LaTeX$

— 枢機卿

また、の\cdot代わりに使用するつもりだったと思います\dot。その場合は、先に進んでそれらの編集を行ってください。乾杯。:)

— 枢機卿

0

損失関数で、バイナリの結果/ラベル（特定のクラスで+1および-1の値をとることができる）が欠落しています：max（0、1-y *（w * x））（詳細は以下を参照）。

全体的に、私は上記の仕様（表記と損失関数の両方）が1対すべてを過度に複雑にしていると思います-代わりに、特定のクラスを取り、+ 1 / -1の結果yと対応するデータ行列Xを作成できます（Nf列とNi行）およびそのクラスのパラメーターベクトルwと、そのクラスの従来のバイナリ分類器に対応するヒンジ損失関数を書きます：sum（max（0、1-y *（w * x）））ここで合計はすべてのデータインスタンスについてであり、xは特定のインスタンスに対応するXの行です。ヒンジ損失関数には「1」が必要です（y *（w * x）> = 1は、損失関数に関する限り、正しいモデル予測に対応するため）。

— エフゲニー
ソース