5
ニューラルネットワークのクロスエントロピー誤差関数
ML初心者向けのMNISTでは、クロスエントロピーを次のように定義しています Hy′(y):=−∑iy′ilog(yi)Hy′(y):=−∑iyi′log(yi)H_{y'} (y) := - \sum_{i} y_{i}' \log (y_i) i y ′ iyiyiy_iはクラス予測確率値で、はそのクラスの真の確率です。iiiy′iyi′y_i' 質問1 （）が0になるのは問題ではありませんか？これはもちろん、本当に悪い分類器を持っていることを意味します。しかし、データセットのエラー、たとえばとしてラベル付けされた「明白な」を考えてください。単にクラッシュしますか？選択したモデル（最後にソフトマックスアクティベーション）は、基本的に正しいクラスに対して確率0を与えませんか？yiyiy_ilog(yi)log(yi)\log(y_i)13 質問2 クロスエントロピーは次のように定義されることを学びました Hy′(y):=−∑i(y′ilog(yi)+(1−y′i)log(1−yi))Hy′(y):=−∑i(yi′log(yi)+(1−yi′)log(1−yi))H_{y'}(y) := - \sum_{i} ({y_i' \log(y_i) + (1-y_i') \log (1-y_i)}) 何が正しいのですか？いずれかのバージョンの教科書の参照はありますか？これらの関数は、その特性がどのように異なりますか（ニューラルネットワークのエラー関数として）？