平均二乗誤差が経験的分布とガウスモデル間のクロスエントロピーであるのはなぜですか？

28

5.5では、ディープラーニング（イアングッドフェロー、ヨシュアベンジオ、アーロンクールビル）が、

負の対数尤度で構成される損失は、トレーニングセットで定義された経験的分布とモデルで定義された確率分布の間の相互エントロピーです。たとえば、平均二乗誤差は経験的分布とガウスモデルの間の相互エントロピーです。

なぜそれらが同等なのか理解できず、著者はその点については拡張していません。

machine-learning normal-distribution cross-entropy

— 李i飛
ソース

32

データをます。書き込み経験的分布のために。定義により、任意の関数、 $\mathbf{x}=(x_1, \ldots, x_n)$ $F(\mathbf{x})$ $f$

E_{F (x)} [f (X)] = \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) .

$\mathbb{E}_{F(\mathbf{x})}[f(X)] = \frac{1}{n}\sum_{i=1}^n f(x_i).$

モデルに密度持たせますここで、はモデルのサポートで定義されます。クロスエントロピーのとあると定義されます。 $M$ $e^{f(x)}$ $f$ $F(\mathbf{x})$ $M$

\begin{matrix} (1) & H (F (x), M) = - E_{F (x)} [\log (e^{f (X)}] = - E_{F (x)} [f (X)] = - \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) . \end{matrix}

$H(F(\mathbf{x}), M) = -\mathbb{E}_{F(\mathbf{x})}[\log(e^{f(X)}] = -\mathbb{E}_{F(\mathbf{x})}[f(X)] =-\frac{1}{n}\sum_{i=1}^n f(x_i).\tag{1}$

が単純なランダムサンプルであると仮定すると、その負の対数尤度は $x$

\begin{matrix} (2) & - \log (L (x)) = - \log \prod_{i = 1}^{n} e^{f (x_{i})} = - \sum_{i = 1}^{n} f (x_{i}) \end{matrix}

$-\log(L(\mathbf{x}))=-\log \prod_{i=1}^n e^{f(x_i)} = -\sum_{i=1}^n f(x_i)\tag{2}$

対数の特性により（それらは積を合計に変換します）。式は、式倍の定数です。損失関数は統計で比較することによってのみ使用されるため、一方が他方の（正の）定数倍であることには違いはありません。この意味で、負の対数尤度は引用のクロスエントロピー「である」ということです。 $(2)$ $n$ $(1)$

引用の2番目のアサーションを正当化するには、もう少し想像力が必要です。平方誤差の関係は明らかです。なぜなら、点で値を予測する「ガウスモデル」の場合、そのような点でのの値は $p(x)$ $x$ $f$

f (x; p, σ) = - \frac{1}{2} (\log (2 π σ^{2}) + \frac{(x - p (x))^{2}}{σ^{2}}),

$f(x; p, \sigma) = -\frac{1}{2}\left(\log(2\pi \sigma^2) + \frac{(x-p(x))^2}{\sigma^2}\right),$

これは二乗誤差が、によって再スケーリングされ、関数によってシフトされます。 引用を正しくする1つの方法は、「モデル」の部分を考慮しないと仮定することです。は、データとは無関係に決定する必要があります。その場合、差の平均二乗誤差との間は、に比例する差それによってモデルフィッティングの目的のために、3つのすべての等価物を作る、クロスエントロピー又は対数尤度の間です。 $(x-p(x))^2$ $1/(2\sigma^2)$ $\sigma$ $\sigma$ $\sigma$

（ただし、通常、はモデリングプロセスの一部として適合します。この場合、引用は完全に正しくありません。） $\sigma = \sigma(x)$

— ウーバー
ソース

1

2つの提案がある+1-代わりに使用して、との混乱を避けることができます。2番目は、ほとんどの推定値がです。これを接続して追加すると、。... AIC型の式と同様に

g ()

$g ()$

f ()

$f ()$

F ()

$F ()$

σ^{2}

$\sigma^2$

k \sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}

$k\sum_{i=1}^n \left (x_i - p (x_i)\right)^2$

- \frac{1}{2} \log [\sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}] + h (k)

$-\frac {1}{2}\log\left [\sum_{i=1}^n \left (x_i - p (x_i)\right)^2\right] +h(k)$

— probabilityislogic

@probabilityislogicとのペアを選択します。これらは密接に関連する量を表すからです。

F

$F$

f

$f$

— whuber

こんにちは、これは線形分布にのみ適用されると思います。非線形分布問題では、コスト関数としてMSEを使用できると思いますか？

— ライオンライ

5

ディープラーニングの本の読者のために、著者はセクション5.5.1でステートメントを詳細に説明している優れた受け入れられた答え、例：最尤としての線形回帰を追加したいと思います。

そこで、彼らは受け入れられた答えで言及された制約を正確にリストします：

$p(y | x) = \mathcal{N}\big(y; \hat{y}(x; w), \sigma^2\big)$ 。関数は、ガウス平均の予測を提供します。この例では、分散はユーザーが選択した定数固定されていると仮定しています。 $\hat{y}(x; w)$ $\sigma^2$

次に、MSEの最小化が最尤推定に対応し、したがって経験的分布と間のクロスエントロピーの最小化に対応することを示します。 $p(y|x)$

— キリアン・バッツナー
ソース