Почему среднеквадратическая ошибка является перекрестной энтропией между эмпирическим распределением и гауссовой моделью?

В 5.5 « Глубокое обучение» (Йен Гудфеллоу, Йошуа Бенжио и Аарон Курвилль) говорится, что

Любая потеря, состоящая из отрицательного логарифмического правдоподобия, является кросс-энтропией между эмпирическим распределением, определенным обучающим набором, и распределением вероятности, определенным моделью. Например, среднеквадратическая ошибка - это кросс-энтропия между эмпирическим распределением и гауссовой моделью.

Я не могу понять, почему они эквивалентны, и авторы не расширяют суть.

Пусть данные будут $\mathbf{x}=(x_1, \ldots, x_n)$ . Написать $F(\mathbf{x})$ для эмпирического распределения. По определению для любой функции $f$ ,

$$\mathbb{E}_{F(\mathbf{x})}[f(X)] = \frac{1}{n}\sum_{i=1}^n f(x_i).$$

Пусть модель имеет плотность где определена на носителе модели. Кросс-энтропии из и определяется как$M$ f F ( x ) $e^{f(x)}$$f$$F(\mathbf{x})$$M$

$$H(F(\mathbf{x}), M) = -\mathbb{E}_{F(\mathbf{x})}[\log(e^{f(X)}] = -\mathbb{E}_{F(\mathbf{x})}[f(X)] =-\frac{1}{n}\sum_{i=1}^n f(x_i).\tag{1}$$

Предполагая, что - простая случайная выборка, ее отрицательная логарифмическая вероятность$x$

$$-\log(L(\mathbf{x}))=-\log \prod_{i=1}^n e^{f(x_i)} = -\sum_{i=1}^n f(x_i)\tag{2}$$

в силу свойств логарифмов (они переводят продукты в суммы). Выражение является константным кратным выражением . Поскольку функции потерь используются в статистике только путем их сравнения, нет разницы, что одна (положительная) константа умножается на другую. Именно в этом смысле отрицательная логарифмическая вероятность "является" кросс-энтропией в цитате.n ( 1 $(2)$$n$$(1)$

---

Требуется немного больше воображения, чтобы оправдать второе утверждение цитаты. Связь с квадратом ошибки очевидна, потому что для «гауссовой модели», которая предсказывает значения в точках , значение в любой такой точке равноx $p(x)$$x$$f$

$$f(x; p, \sigma) = -\frac{1}{2}\left(\log(2\pi \sigma^2) + \frac{(x-p(x))^2}{\sigma^2}\right),$$

которая является квадратом ошибки но масштабируется на и сдвигается функцией . Один из способов сделать цитату правильной - предположить, что она не учитывает часть "модели" - должен определяться как-то независимо от данных. В этом случае различия между среднеквадратическими ошибками пропорциональны различиям между кросс-энтропиями или логарифмическими правдоподобиями, что делает все три эквивалентными для подбора моделей.1 / ( 2 σ 2 ) σ σ $(x-p(x))^2$ $1/(2\sigma^2)$$\sigma$$\sigma$$\sigma$

(Обычно, однако, подходит как часть процесса моделирования, и в этом случае цитата будет не совсем правильной.)$\sigma = \sigma(x)$

Для читателей книги Deep Learning я хотел бы добавить к превосходному принятому ответу, что авторы подробно объясняют свое утверждение в разделе 5.5.1, а именно : Пример: линейная регрессия как максимальное правдоподобие .

Там они перечисляют точно ограничение, упомянутое в принятом ответе:

$p(y | x) = \mathcal{N}\big(y; \hat{y}(x; w), \sigma^2\big)$$\hat{y}(x; w)$$\sigma^2$

$p(y|x)$