Как понять, что MLE дисперсии смещен в распределении Гаусса?

Я читаю PRML, и я не понимаю картину. Не могли бы вы дать несколько советов, чтобы понять картину и почему MLE дисперсии в распределении Гаусса смещены?

формула 1.55: формула 1.56 σ 2 M L E =

$$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$$ $$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$$

Интуиция

Смещение «происходит от» (вовсе не технического термина) того факта, что смещено для . Естественный вопрос: «Ну, какова интуиция, почему склонен к »? Интуиция заключается в том, что в среднеквадратичном выборочном средстве иногда мы пропускаем истинное значение за переоценки, а иногда из-за недооценки. Но, без возведения в квадрат, тенденция переоценивать и недооценивать компенсирует друг друга. Однако, когда мы возводим в квадрат тенденцию к занижению (пропускаем истинное значениец 2 Е [ ˉ х 2 ] ц 2 ц ˉ х$E[\bar{x}^2]$$\mu^2$$E[\bar{x}^2]$$\mu^2$$\mu$$\bar{x}$$\mu$отрицательным числом) также возводится в квадрат и, таким образом, становится положительным. Таким образом, это больше не отменяет и есть небольшая тенденция к завышению.

Если интуиция, стоящая за тем, почему смещена для , все еще неясна, попытайтесь понять интуицию, лежащую в основе неравенства Дженсена (хорошее интуитивное объяснение здесь ), и применить ее к .μ 2 Е [ х 2$x^2$$\mu^2$$E[x^2]$

Давайте докажем, что дисперсия MLE для выборки iid смещена. Тогда мы будем аналитически проверять нашу интуицию.

доказательство

Пусть .$\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

Мы хотим показать .$E[\hat{\sigma}^2] \neq \sigma^2$

$$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$$

Используя тот факт, что и , ∑ N n = 1 ˉ x 2 = N ˉ x$\sum_{n = 1}^N x_n = N\bar{x}$$\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

$$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$$

С последующим последующим шагом из-за того, что равны по из-за того же распределения.$E[x_n^2]$$n$

Теперь вспомним определение дисперсии, которое гласит: . Отсюда мы получаем следующее$\sigma^2_x = E[x^2] - E[x]^2$

$$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$$

Обратите внимание, что мы соответствующим образом возвели в квадрат константу при извлечении ее из . Обратите на это особое внимание!$\frac{1}{N}$$Var()$

$$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$$

что, конечно, не равно .$\sigma_x^2$

Аналитически проверить нашу интуицию

Мы можем несколько проверить интуицию, предположив, что мы знаем значение и включив его в приведенное выше доказательство. Поскольку теперь мы знаем , нам больше не нужно оценивать и поэтому мы никогда не переоцениваем его с помощью . Давайте посмотрим, что это «убирает» смещение в .$\mu$$\mu$$\mu^2$$E[\bar{x}^2]$$\hat{\sigma}^2$

Пусть .$\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

Из приведенного выше доказательства давайте возьмем из замену истинным значением .ˉ x$E[x_n^2] - E[\bar{x}^2]$$\bar{x}$$\mu$

$$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$$

который беспристрастен!