Как интерпретировать среднеквадратичную ошибку (RMSE) в сравнении со стандартным отклонением?

Допустим, у меня есть модель, которая дает мне прогнозируемые значения. Я рассчитываю RMSE этих значений. А затем стандартное отклонение фактических значений.

Имеет ли смысл сравнивать эти два значения (дисперсии)? Я думаю, что если среднеквадратичное отклонение и стандартное отклонение схожи / одинаковы, то ошибка / дисперсия моей модели совпадает с тем, что происходит на самом деле. Но если даже не имеет смысла сравнивать эти значения, тогда этот вывод может быть неверным. Если моя мысль верна, то значит ли это, что модель настолько хороша, насколько это возможно, потому что она не может объяснить, что является причиной отклонения? Я думаю, что последняя часть, вероятно, неверна или, по крайней мере, нуждается в дополнительной информации, чтобы ответить.

Давайте предположим , что наши ответы и наши предсказанные значения у 1 , ... , у п .$y_1, \dots, y_n$$\hat y_1, \dots, \hat y_n$

Выборочная дисперсия ( для простоты используется а не n - 1 ) равна $n$$n-1$а СКО$\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2$. Таким образом, выборочная дисперсия показывает, насколько сильно варьируются ответы в среднем, а MSE - насколько сильно варьируются ответы в зависимости от наших прогнозов. Если мы думаемобщие среднего ··· у , как являющиеся простейших предсказателячто мы когдалибо рассмотреть,затем путь сравнения MSE на образец дисперсию ответовмы можем видетьнасколько больше вариантов мы объяснили с нашей моделью. Это именно то, чтоделает значениеR2в линейной регрессии.$\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2$$\bar y$$R^2$

Рассмотрим следующую картину: Выборочная дисперсия - это изменчивость вокруг горизонтальной линии. Если мы спроецируем все данные на ось Y, мы увидим это. СКО среднее квадрат расстояния до линии регрессии, то есть изменчивость вокруг линии регрессии (т.е. у меня ). Таким образом, изменчивость, измеренная выборочной дисперсией, представляет собой усредненное квадратное расстояние до горизонтальной линии, которое, как мы видим, существенно больше среднего квадратичного расстояния до линии регрессии. $y_i$$Y$$\hat y_i$

В случае , если речь идет о средней квадратичной ошибке предсказания, здесь может быть: зависимости от того, сколько (p) параметров оценено для прогнозирования, т. е. потеря степени свободы (DF).

Выборочная дисперсия может быть: где ˉ y - это просто оценка среднего значенияyi.

Таким образом, вы можете рассматривать последнюю формулу (выборочную дисперсию) как частный случай первого (MSE), где $\hat{y}_i = \bar{y}$$\bar{y}$

$\hat{y}_i$

что проще всего вычислить.

$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2}$

$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2}$

Этот аргумент применяется к другим мерам ошибки, не только к RMSE, но RMSE особенно привлекательна для прямого сравнения с SD, потому что их математические формулы аналогичны.