... ожидаемая потеря [квадратичная ошибка] может быть разложена на квадрат смещения (который описывает, как далеко средние прогнозы от истинной модели), дисперсионный термин (который описывает разброс прогнозов вокруг среднего), и коэффициент шума (который дает собственный шум данных).
При взгляде на квадрат разложения потери разности
Я вижу только два термина: один для смещения и другой для дисперсии оценки или предиктора, δ ( X 1 : n ) . В ожидаемой потере нет дополнительного шумового термина. Как и должно быть, так как переменность - это переменность δ ( X 1 : n ) , а не самого образца.
Eθ[(θ−δ(X1:n))2]=(θ−Eθ[δ(X1:n)])2+Eθ[(Eθ[δ(X1:n)]−δ(X1:n))2]
δ(X1:n)δ(X1:n)
- Можно ли выполнить декомпозицию смещения дисперсии с помощью функций потерь, отличных от квадрата потерь?
Моя интерпретация квадрата смещения + дисперсии дисперсии [и того, как я ее преподаю] состоит в том, что это статистический эквивалент теоремы Пифагора, а именно, что квадрат расстояния между оценкой и точкой в некотором наборе является суммой квадрата расстояния между оценщиком и множеством плюс квадратное расстояние между ортогональной проекцией на множестве и точкой в наборе. Любая потеря, основанная на расстоянии с n для данного набора данных модели, состоит в том, что существует более одной модели, ожидаемая потеря которой является минимальной для всех моделей, и если это так, означает ли это, что могут быть различные комбинации смещения и дисперсии, которые дают та же минимальная ожидаемая потеря потерь ортогональной проекции, т. е. внутреннего произведения, т. е. по существу гильбертовых пространств, удовлетворяет этому разложению.
- Для заданного набора данных модели существует ли более одной модели, ожидаемая потеря которой является минимальной по всем моделям, и если да, то означает ли это, что могут быть различные комбинации смещения и дисперсии, которые дают одинаковую минимальную ожидаемую потерю?
Вопрос неясен: если под минимумом по моделям вы подразумеваете
то существует множество примеров статистических моделей и связанных с ними решений с постоянной ожидаемой потерей (или риском). ). Возьмите, например, MLE нормального среднего.
minθEθ[(θ−δ(X1:n))2]
- Как вы можете рассчитать смещение, если вы не знаете истинную модель?
В общем смысле, смещение - это расстояние между истинной моделью и ближайшей моделью в предполагаемом семействе распределений. Если истинная модель неизвестна, смещение может быть установлено с помощью начальной загрузки.
- Существуют ли ситуации, в которых имеет больше смысла минимизировать отклонения или отклонения, а не ожидаемые потери (сумма квадратов отклонений и отклонений)?
При рассмотрении другой функции потерь типа
(θ−Eθ[δ(X1:n)])2+α[(Eθ[δ(X1:n)]−δ(X1:n))2]0<α
αα