ヒンジ損失とロジスティック損失の長所と短所/制限

ヒンジ損失を使用して定義することができる、ログ損失として定義することができるログ（1つの+ EXP （- Y I W Tは、xは Iを）$\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)$$\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i))$

次の質問があります。

1. ヒンジ損失の欠点はありますか（例：http://www.unc.edu/~yfliu/papers/rsvm.pdfに記載されている外れ値に敏感）。

2. 一方と他方の違い、長所、短所は何ですか？

対数損失の最小化は、行儀の良い確率的出力につながります。

ヒンジの損失により、デュアルのスパースが（保証されません）なりますが、確率の推定には役立ちません。代わりに、誤分類を罰します（そのため、マージンを決定することが非常に便利です）。ヒンジ損失の減少には、マージンの誤分類全体の減少が伴います。

だから、要約：

• 対数損失は精度を犠牲にしてより良い確率推定につながります

• ヒンジの損失により、確率に関する感度が大幅に低下しますが、精度とスパース性が向上します

@Firebugの回答は正しかった（+1）。実際、ここでも同様の質問がありました。

0-1損失を近似するために分類で異なる損失関数を選択することの影響は何ですか

ロジスティック損失のもう1つの大きな利点である確率的解釈にさらに追加したいと思います。例、見つけることができますここにあります

具体的には、ロジスティック回帰は統計文献の古典的なモデルです。（「ロジスティック回帰」という名前の意味は？。）対数尤度推定の最大化、尤度比検定、二項の仮定など、ロジスティック損失に関連する多くの重要な概念があります。関連するディスカッションを次に示します。

Rの尤度比検定

ロジスティック回帰がロジスティック分類と呼ばれないのはなぜですか？

ロジスティック回帰にiidの仮定はありますか？

ロジットモデルとプロビットモデルの違い

@ hxd1011にはクロスエントロピーの利点が追加されたため、この欠点の1つを追加します。

クロスエントロピーエラーは、確率分布間の多くの距離尺度の1つですが、欠点の1つは、可能性の低いイベントにあまりにも多くの重みを与えて、長いテールを持つ分布を貧弱にモデル化できることです。