Расчет вероятности от RMSE

У меня есть модель для прогнозирования траектории (х как функция времени) с несколькими параметрами. В настоящий момент я вычисляю среднеквадратичную ошибку (RMSE) между прогнозируемой траекторией и экспериментально записанной траекторией. В настоящее время я минимизирую эту разницу (RMSE), используя simplex (fminsearch в matlab). Несмотря на то, что этот метод дает хорошие результаты, я хотел бы сравнить несколько разных моделей, поэтому я думаю, что мне нужно вычислить вероятность, чтобы я мог использовать оценку максимального правдоподобия, а не минимизировать среднеквадратическое отклонение (а затем сравнить модели с использованием AIC или BIC ). Есть ли стандартный способ сделать это?

maximum-likelihood curve-fitting Джейсон
источник

$\lbrace x_i, z_i \rbrace$ $f$

\underset{я}{Σ} {(е ({Икс}_{я}) - Z_{я})}^{2}

$\sum_i \left(f(x_i) - z_i\right)^2$

Разве этот выбор не является абсолютно произвольным? Конечно, вы хотите оштрафовать оценки, которые полностью ошибочны, чем те, которые являются правильными. Но есть очень веская причина использовать квадратную ошибку.

$\frac{1}{Z}\exp \frac{-(x - \mu)^2}{2\sigma^2}$ $Z$ $z$

L знак равно \underset{я}{Π} \frac{1}{Z} ехр \frac{- (е ({Икс}_{я}) - Z_{я})^{2}}{2 σ^{2}}

$\mathcal{L} = \prod_i \frac{1}{Z}\exp \frac{-(f(x_i) - z_i)^2}{2\sigma^2}$

Теперь, если вы берете логарифм этого ...

журнал L знак равно \underset{я}{Σ} \frac{- (е ({Икс}_{я}) - Z_{я})^{2}}{2 σ^{2}} - журнал Z

$\log \mathcal{L} = \sum_i \frac{-(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

... получается, что это очень тесно связано с среднеквадратичным значением: единственными отличиями являются некоторые постоянные члены, квадратный корень и умножение.

Короче говоря: минимизация среднеквадратичной ошибки эквивалентна максимизации логарифмической вероятности данных.

bayerj
источник

Спасибо за четкое объяснение. Поэтому, если я хочу сравнить две (не встроенные) модели, использующие BIC, я могу просто отбросить термины sigma ^ 2 и Z (фактически предполагая, что они одинаковы для разных моделей) при расчете вероятности?

Джейсон

Да. Оба условия зависят только от

σ

$\sigma$ Таким образом, вы можете отбросить их, если оба

σ

$\sigma$ с равны.

Bayerj

Я думаю, что в последнем шаге выше (с учетом вероятности) есть ошибка, она должна быть:

журнал L знак равно \underset{я}{Σ} \frac{(е ({Икс}_{я}) - Z_{я})^{2}}{2 σ^{2}} - журнал Z

$\log \mathcal{L} = \sum_i \frac{(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$ Это не меняет «нижний предел», потому что логарифмическая вероятность линейно связана с RMSE, поэтому минимизация RMSE эквивалентна минимизации логарифмической вероятности

Jason

Отсутствует ли отрицательный знак в распределении Гаусса?

Маной

Разве заключение не должно быть противоположным? Минимизация суммы квадратов ошибок максимизирует логарифмическую вероятность (для фиксированной

σ

$\sigma$ ) и, таким образом, максимизирует вероятность (поскольку лог является монотонным).

Тим Гудман

Расчет вероятности от RMSE

Ответы: