MSE разложение до дисперсии и смещения в квадрате

Показывая, что MSE можно разложить на дисперсию плюс квадрат смещения, доказательство в Википедии имеет шаг, выделенный на рисунке. Как это работает? Как ожидание подталкивается к продукту с 3-го шага до 4-го шага? Если два условия независимы, разве ожидание не должно применяться к обоим условиям? и если они не, этот шаг действителен? enter image description here

random-variable expected-value mse statBeginner
источник

Ответы:

Фокус в том , что $\mathbb{E}(\hat{\theta}) - \theta$ является константой.

Adamo
источник

А ну понятно. Единственным неизвестным здесь является оценщик. Правильно?

statBeginner

Да. Принимая ожидание означает , что оценка идет к тому , что это оценки, это то, что делает

перейти на 0.

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

Adamo

Извините, это предложение не имеет особого смысла для меня. Если оценщик пошел к тому, что он оценивал, разве это не сделало бы это беспристрастным? Можно ли объяснить тем

= 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

user1158559

@ user1158559 термин продукта в середине - это постоянное значение, умноженное на что-то с ожидаемым значением 0. Даже если тэта-шляпа смещена, это все равно постоянное время 0.

AdamO

является переменной и не является постоянной. Кроме, фокустомменее тривиальным и

константой не становится 0 по умолчанию (например

). Реальный трюк заключается в том, что

является константой (и может быть извлечена из интеграла), поэтому

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

Секст Эмпирик

Ответ Адама правильно о трюке , что является константой. Однако это помогает найти конечный результат и не дает четкого объяснения вопроса о конкретном шаге в статье в Википедии (правка: сейчас я вижу, что это было неоднозначно, из-за выделения и перехода от третьей строки к четвертой строке). $E(\hat{\theta}) - \theta$

(обратите внимание , что речь идет о переменной , который отличается от постоянной в ответе Адама я написал это неправильно в моем комментарии , расширяющие условия для большей ясности:.. переменная оценочное , константы ожидание этой оценки и истинное значение ) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

Трюк 1: рассмотреть

переменная $x=\hat{\theta}$

константа $a=\mathbb{E}\left[ \hat{\theta} \right]$

и константа $b = \theta$

Тогда отношение можно легко записать, используя правила преобразования, выражающие моменты переменной о через моменты переменной о . $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

Trick 2: For the second moment the above formula has three terms in the summation. We can eliminate one of them (the case $i=1$ ) because $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

Here one can also make the argument with something being a constant. Namely $\mathbb{E}(a)=a$ if $a$ is a constant and using $a=\mathbb{E}(\theta)$ , which is a constant, you get $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$ .

More intuitively: we made the moment of $x$ about $a$ , equal to a central moment (and the odd central moments are zero). We get a bit of a tautology. By substracting the mean from the variable, $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$ , we generate a variable with mean zero. And, the mean of 'a variable with mean zero' is zero.

The wikipedia article uses these two tricks in respectively the third and fourth line.

The nested expectation in the third line

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

is simplified by taking the constant part $(\mathbb{E}({\hat{\theta}})-\theta)$ outside of it (trick 1).
The term $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ is solved (as equal to zero) by using the fact that the variable $\hat{\theta} -\mathbb{E}(\hat{\theta})$ has mean zero (trick 2).

Sextus Empiricus
источник

$E(\hat{\theta}) - \theta$ is not a constant.

The comment of @user1158559 is actually the correct one:

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

little_monster
источник

I don't see what you are trying to show. Also the bias may not be zero but that does not mean that it isn't a constant.

Michael R. Chernick

It is not a constant because

\hat{θ} = f (D)

$\hat{\theta} = f(D)$ where

D

$D$ is a given training data, which is also a random variable. Thus, its expectation is not a constant.

little_monster

Also, the fact that it is not a constant or not cannot explain how step 4 is possible from step 3. On the other hand, the comment of @ user1158559 explains that.

little_monster

@Michael, there has been confusion about the question. The highlighted part contains this expression

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$ , but in the text of the question it is mentioned that it is instead about the change from the third line to the fourth line, changing the nesting of expectations.

Sextus Empiricus