可能性の最大化とクロスエントロピーの最小化の間の関係

可能性を最大化することは、クロスエントロピーを最小化することと同等であるという声明があります。この声明の証拠はありますか？

ラベル用 $y_i\in \{0,1\}$、パラメータ付きのベルヌーイモデルでのバイナリデータの可能性 $\theta$ です

$$\mathcal{L}(\theta) = \prod_{i=1}^n p(y_i=1|\theta)^{y_i}p(y_i=0|\theta)^{1-y_i}\\ $$ 対数尤度は $$\log\mathcal{L}(\theta) = \sum_{i=1}^n y_i\log p(y=1|\theta) + (1-y_i)\log p(y=0|\theta)$$

そして、バイナリのクロスエントロピーは

$$L(\theta) = -\frac{1}{n}\sum_{i=1}^n y_i\log p(y=1|\theta) + (1-y_i)\log p(y=0|\theta)$$

明らかに $\log \mathcal{L}(\theta) = -nL(\theta)$。

最適値は $\theta^*$ どちらの場合でもそれを観察できるため、両方で同じです $\theta$ これは最適ではありません。 $\frac{1}{n} L(\theta) > \frac{1}{n} L(\theta^*)$、それは $\frac{1}{n} > 0$。（クロスエントロピーを最小化したいので、最適な$\theta^*$ 最も少ない $L(\theta^*)$。）

同様に、最適な値は $\theta^*$ 同じです $\log \mathcal{L}(\theta)$ そして $\mathcal{L}(\theta)$ なぜなら $\log(x)$ は単調増加関数です $x \in \mathbb{R}^+$、私たちは書くことができます $\log \mathcal{L}(\theta) < \log\mathcal{L}(\theta^*)$。（可能性を最大化したいので、最適な$\theta^*$ 最も多い $\mathcal{L}(\theta^*)$。）

一部のソースは省略します $\frac{1}{n}$クロスエントロピーから。明らかに、これが唯一の変更値のを$L(\theta)$、ただしオプティマの場所ではないため、最適化の観点からは区別は重要ではありません。ただし、負の符号は最大化と最小化の違いであるため、明らかに重要です。