多項ロジスティック損失vs（クロスエントロピーvs二乗誤差）

Caffe（ディープラーニングフレームワーク）がほとんどのモデルサンプルの出力層としてSoftmax Loss Layer SoftmaxWithLossを使用していることを確認しました。

私の知る限り、Softmax損失層は、多項ロジスティック損失層とSoftmax層の組み合わせです。

カフェから、彼らはそれを言った

Softmax Loss Layerの勾配計算は、数値的に安定しています。

ただし、この説明は私が望む答えではありません。説明は、レイヤーごとではなく、多項ロジスティック損失レイヤーとソフトマックス損失レイヤーの組み合わせを比較するだけです。しかし、他のタイプの損失関数と比較しないでください。

しかし、教師付き学習の観点から、これらの3つのエラー関数である多項ロジスティック損失、クロスエントロピー（CE）、二乗誤差（SE）の違い/利点/欠点は何ですか？支持記事はありますか？

— カルファイ
ソース

ヒント：質問に「カフェ」というタグを追加すると、より速く回答が得られると思います。また、stackexchangeの代わりにstackoverflowに投稿すると、注意が高まる場合があります）。

— mcExchange 2015

組み合わせにより、勾配の計算が簡単になりy-tます。willamette.edu/~gorr/classes/cs449/classify.html

— Jingpeng Wu

回答:

私の考えでは、損失関数は、ニューラルネットワークに応じて重みを最適化する目的関数です。したがって、それはタスク固有であり、何らかの形で経験的でもあります。明確にするために、多項ロジスティック損失とクロスエントロピー損失は同じです（http://ufldl.stanford.edu/wiki/index.php/Softmax_Regressionを参照してください）。多項ロジスティック損失のコスト関数は次のようになります $J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right].$

通常、分類問題に使用されます。スクエアエラーのような式がある $\frac 1 {2N} \sum_{i=1}^N \| x^1_i - x^2_i \|_2^2.$

したがって、通常は、いくつかの構成エラーの使用を最小限に抑えるために使用されます。

編集：@MartinThoma多項ロジスティックス損失の上記の式は、バイナリの場合のみであり、一般的な場合は、、ここでKはカテゴリの数です。 $J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

— ビーハッカー
ソース

Caffeでは、MultinomialLogisticLossはなので、誰が間違っていますか？

\frac{- 1}{N} \sum_{n = 1}^{N} \log (p_{n, l_{n}})

$\frac{-1}{N}\sum_{n=1}^{N}\log(p_{n,l_n})$

— moi

間違いなく、はバイナリ変数です。結局のところ、定式化することができます。

y^{i}

$y^i$

— beahacker

multinomailロジスティック損失には2番目の加数がないと思ったので、

J (θ) = - \frac{1}{m} [\sum_{i = 1}^{m} y^{(i)} \log h_{θ} (x^{(i)})]

$J(\theta) = - \frac{1}{m} [\sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)})]$

— Martin Thoma

@MartinThoma私の式はバイナリの場合のみです。一般的な場合は、

J (θ) = - [\sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log P (y^{(i)} = k | x^{(i)}; θ)]

$J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

— beahacker

@beahackerマーティン・トーマが指摘したように、2番目の加数が多項式のケースに含まれない理由を教えてください。なぜそれがそのように行われるのかを理解しようとしています。少なくとも、調べたいリソースを教えていただけますか。

— Nandeesh

教師あり学習の観点から、多項ロジスティック損失、クロスエントロピー（CE）、二乗誤差（SE）であるこれら3つの誤差関数の違い/利点/欠点は何ですか？

多項ロジスティック損失は、実際にはクロスエントロピーと同じです。この関数（softmaxのコスト関数）を見てください：ここで、mはサンプル番号、Kはクラス番号です。

J (θ) = - \sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log p (y^{(i)} = k ∣ x^{(i)}; θ)

$J( \theta ) = - \sum^m_{i=1} \sum^K_{k=1} 1 \{ y^{(i)} = k \} \log p(y^{(i)} = k \mid x^{(i)} ; \theta)$

インジケーター関数（）は、クロスエントロピー定義のが0か1 かを決定します。これは、トレーニングデータで1ホットとラベル付けされており、は、次に示すsoftmax（q（x）の条件付き尤度です）。 $1 \{ y^{(i)} = k \}$ $p(x)$ $p(y^{(i)} = k \mid x^{(i)} ; \theta)$

- \sum_{x} p (x) \log q (x)

$-\sum_x p(x) \log q(x)$

また、MSEは主に、リンク関数がユニティ関数（応答分布が正規分布に従う）、標準の線形回帰である状況に対するものですが、クロスエントロピーは通常、リンク関数がロジット関数である場合のものです。ここにあなたが参照できる素晴らしい比較があります。

支持記事はありますか？

リンクにあるものを除いて、次の例を示すことをお勧めします。https：//github.com/rasbt/python-machine-learning-book/blob/master/faq/softmax_regression.md

— ラーナー・チャン
ソース