Доверительный интервал RMSE

Я взял выборку из точек данных от населения. Каждый из этих пунктов имеет истинное значение (известное из основной истины) и оценочное значение. Затем я вычисляю погрешность для каждой точки выборки, а затем вычисляю среднеквадратичное значение выборки. $n$

Как тогда я могу вывести некоторый доверительный интервал вокруг этого RMSE, основываясь на размере выборки ? $n$

Если бы я использовал среднее значение, а не RMSE, то у меня не было бы проблем с этим, поскольку я мог бы использовать стандартное уравнение

$m = \frac{Z \sigma}{\sqrt{n}}$

но я не знаю, действительно ли это для RMSE, а не для среднего значения. Есть ли способ, которым я могу это адаптировать?

(Я видел этот вопрос , но у меня нет проблем с тем, нормально ли распределено мое население, и именно это и есть в ответе)

confidence-interval robintw
источник

Что конкретно вы вычисляете, когда вы «рассчитываете RMSE образца»? Является ли это RMSE из истинных значений, из оценочных значений, или их различия?

whuber

Я вычисляю среднеквадратичное значение разностей, то есть вычисляю квадратный корень из среднего квадрата разностей между истинными и оценочными значениями.

robintw

Если вы знаете «основную правду» (хотя я не уверен, что это на самом деле означает), зачем вам нужна неопределенность в RMSE? Вы пытаетесь построить какой-то вывод о случаях, когда у вас нет правды? Это проблема калибровки?

Glen_b

@Glen_b: Да, это именно то, что мы пытаемся сделать. У нас нет основной истины для всего населения, только для образца. Затем мы рассчитываем среднеквадратическое среднеквадратичное отклонение для выборки, и мы хотим иметь доверительные интервалы для этого, поскольку мы используем эту выборку, чтобы вывести среднеквадратическое среднеквадратичное отклонение населения.

robintw

Возможный дубликат SE RMSE в R

Любопытно

Ответы:

С такими же рассуждениями, как здесь , я мог бы дать ответ на ваш вопрос при определенных условиях.

Пусть будет вашим истинным значением для точки данных а - оценочным значением. Если предположить, что различия между оценочными и истинными значениями имеют $x_{i}$ $i^{th}$ $\hat{x}_{i}$

средний ноль (т. е. распределены вокруг ) $\hat{x}_{i}$ $x_{i}$
следовать нормальному распределению
и у всех одинаковое стандартное отклонение $\sigma$

короче говоря:

{\hat{Икс}}_{я} - {Икс}_{я} ~ N (0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

тогда вам действительно нужен доверительный интервал для . $\sigma$

Если вышеприведенные предположения верны, следует распределению с (не ) степенями свобода. Это означает

\frac{N {RMSE}^{2}}{σ^{2}} знак равно \frac{N \frac{1}{N} \underset{я}{Σ} {(\hat{{Икс}_{я}} - {Икс}_{я})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} п (χ_{\frac{α}{2}, N}^{2} \leq \frac{N {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, N}^{2}) знак равно 1 - α \\ \Leftrightarrow п (\frac{N {RMSE}^{2}}{χ_{1 - \frac{α}{2}, N}^{2}} \leq σ^{2} \leq \frac{N {RMSE}^{2}}{χ_{\frac{α}{2}, N}^{2}}) знак равно 1 - α \\ \Leftrightarrow п (\sqrt{\frac{N}{χ_{1 - \frac{α}{2}, N}^{2}}} RMSE \leq σ \leq \sqrt{\frac{N}{χ_{\frac{α}{2}, N}^{2}}} RMSE) знак равно 1 - α, \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

Поэтому - ваш доверительный интервал.

[\sqrt{\frac{N}{χ_{1 - \frac{α}{2}, N}^{2}}} RMSE, \sqrt{\frac{N}{χ_{\frac{α}{2}, N}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

Вот программа на Python, которая имитирует вашу ситуацию

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Надеюсь, это поможет.

Если вы не уверены, применимы ли предположения или если вы хотите сравнить то, что я написал, с другим методом, вы всегда можете попробовать начальную загрузку .

fabee
источник

Я думаю, что вы не правы - он хочет CI для RMSE, а не . И я тоже этого хочу :)

σ

$\sigma$

Любопытно

Я не думаю, что я не прав. Подумайте об этом так: MSE - это пример дисперсии, поскольку . Единственное отличие состоит в том, что вы делите на а не на поскольку здесь вы не вычитаете среднее значение выборки. Тогда RMSE будет соответствовать . Следовательно, RMSE населения - это и для этого вам нужен CI. Это то, что я получил. В противном случае я должен полностью понять вашу проблему.

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$

σ

$\sigma$

σ

$\sigma$

Fabee

Рассуждения в ответе fabee кажутся правильными, если их применять к стандарту STDE (стандартное отклонение ошибки), а не к RMSE. Используя аналогичную номенклатуру, - индекс, представляющий каждую запись данных, - истинное значение, а - измерение или прогноз. $i=1,\,\ldots,\,n$ $x_i$ $\hat{x}_i$

Ошибка , BIAS, MSE (среднеквадратическая ошибка) и RMSE определяются как: $\epsilon_i$

ε_{я} знак равно {\hat{Икс}}_{я} - {Икс}_{я}, BIAS знак равно \bar{ε} знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} ε_{я}, MSE знак равно \bar{ε^{2}} знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} ε_{я}^{2}, RMSE знак равно \sqrt{MSE},

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

Согласившись с этими определениями, BIAS соответствует среднему значению выборки , но MSE не является отклонением выборки смещения. Вместо этого: или, если были вычислены как BIAS, так и RMSE, Обратите внимание, что смещенная выборочная дисперсия используется вместо несмещенной , чтобы сохранить согласованность с предыдущими определениями, данными для MSE и RMSE. $\epsilon$

{STDE}^{2} знак равно \bar{(ε - \bar{ε})^{2}} знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} (ε_{я} - \bar{ε})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$

{STDE}^{2} знак равно \bar{(ε - \bar{ε})^{2}} знак равно \bar{ε^{2}} - {\bar{ε}}^{2} знак равно {RMSE}^{2} - {BIAS}^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$

Таким образом, по моему мнению, доверительные интервалы, установленные fabee, относятся к стандартному отклонению выборки , STDE. Аналогично, доверительные интервалы могут быть установлены для BIAS на основе z-оценки (или t-оценки, если ) и, $\epsilon$ $n<30$ $\left.\text{STDE}\middle/\sqrt{n}\right.$

CVR
источник

Вы правы, но пропустили часть моего ответа. Я в основном предполагал, что BIAS = 0 (см. Предположение 1). В этом случае как вы получили. Поскольку и являются и существует решение для близкой формы для суммы двух RV, вы, вероятно, можете получить близкий доверительный интервал формы для случая, когда предположение 1 отбрасывается. Если вы сделаете это и обновите свой ответ, я обязательно проголосую.

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$

R M S E^{2}

$RMSE^2$

B I A S^{2}

$BIAS^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

Fabee

После Faaber 1999 года неопределенность RMSE задается как где - количество точек данных.

σ (\hat{р M S Е}) / р M S Е знак равно \sqrt{\frac{1}{2 N}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$

n

$n$

LKlevin
источник