Я читаю главу о компромиссах смещения дисперсии элементов статистического обучения, и у меня есть сомнения в формуле на стр. 29. Пусть данные возникают из такой модели, что где - случайный число с ожидаемым значением и дисперсией . Пусть ожидаемое значение ошибки модели составляет где - это предсказание нашего ученика. Согласно книге, ошибка E [(Y-f_k (x)) ^ 2] = \ sigma ^ 2 + Bias (f_k) ^ 2 + Var (f_k (x)).
Мой вопрос, почему термин смещения не равен 0? Развивая формулу ошибки, я вижу
поскольку является независимым случайным числом 2E [(f (x) -f_k (x)) \ epsilon] = 2E [(f (x) -f_k (x))] E [\ epsilon] = 02 Е [ ( е ( х ) - е к ( х ) ) ε ] = 2 Е [ ( е ( х ) - е к ( х ) ) ] E [ ε ] = 0
Где я не прав?
Еще несколько шагов разложения Bias - Variance
В самом деле, полный вывод редко приводится в учебниках, так как в нем задействовано много скучной алгебры. Вот более полный вывод с использованием обозначения из книги «Элементы статистического обучения» на странице 223
Если мы предположим, что и и то мы можем вывести выражение для ожидаемой ошибки прогнозирования соответствия регрессии на входе с использованием квадрата потерьY=f(X)+ϵ E[ϵ]=0 Var(ϵ)=σ2ϵ ф ( X ) X = х 0f^(X) X=x0
Для простоты обозначений пусть , и напомним, что иf^(x0)=f^ f(x0)=f E[f]=f E[Y]=f
Для термина мы можем использовать трюк, аналогичный описанному выше, добавляя и вычитая чтобы получитьE[(f−f^)2] E[f^]
Положить его вместе
Некоторые комментарии о том, почемуE[f^Y]=fE[f^]
Взято от Алекоса Пападопулоса здесь
Напомним, что - это предсказатель, который мы построили на основе точек данных чтобы мы могли написать чтобы запомнить это.f^ m {(x(1),y(1)),...,(x(m),y(m))} f^=f^m
С другой стороны, - это прогноз, который мы делаем для новой точки данных , используя модель, построенную на точках данных выше. Таким образом, средняя квадратическая ошибка может быть записана какY (x(m+1),y(m+1)) m
Расширяя уравнение из предыдущего раздела
Последняя часть уравнения может рассматриваться как
Поскольку мы делаем следующие предположения о точке :x(m+1)
Другие источники с полными деривациями
источник