Предполагается, что полосы достоверности и прогнозирования вокруг нелинейной регрессии симметричны относительно линии регрессии? Это означает, что они не принимают форму песочных часов, как в случае полос для линейной регрессии. Это почему?
Вот эта модель:
Вот рисунок:
и вот уравнение:
Ответы:
Ожидается, что полосы доверия и прогнозирования, как правило, станут шире у концов - и по той же причине, по которой они всегда делают это в обычной регрессии; как правило, неопределенность параметра приводит к более широким интервалам вблизи концов, чем в середине
Вы можете увидеть это достаточно просто путем моделирования, либо путем моделирования данных из данной модели, либо путем моделирования распределения выборки вектора параметров.
Обычные (приблизительно правильные) вычисления, выполненные для нелинейной регрессии, включают в себя локальное линейное приближение (это дано в ответе Харви), но даже без них мы можем получить некоторое представление о том, что происходит.
Однако выполнение реальных вычислений нетривиально, и может случиться так, что программы могут использовать ярлык для вычисления, который игнорирует этот эффект. Также возможно, что для некоторых данных и некоторых моделей эффект относительно невелик и его трудно увидеть. Действительно, с интервалами прогнозирования, особенно с большой дисперсией, но большим количеством данных, иногда бывает трудно увидеть кривую в обычной линейной регрессии - они могут выглядеть почти прямыми, и отклонение от прямолинейности относительно легко различить.
Вот пример того, как трудно видеть только с доверительным интервалом для среднего значения (интервалы прогнозирования могут быть гораздо труднее увидеть, потому что их относительные вариации намного меньше). Вот некоторые данные и подгонка нелинейных наименьших квадратов с доверительным интервалом для среднего значения популяции (в данном случае, сгенерированного из распределения выборки, поскольку я знаю истинную модель, но что-то очень похожее может быть сделано асимптотическим приближением или начальной загрузкой):
Фиолетовые границы выглядят почти параллельно с синими предсказаниями ... но это не так. Вот стандартная ошибка распределения выборки этих средних прогнозов:
который явно не постоянен.
Редактировать:
Те "sp" выражения, которые вы только что опубликовали, приходят прямо из интервала предсказания для линейной регрессии!
источник
Y-hat +/- sp(Y-hat)Математика вычисления доверительных и предсказательных полос кривых, соответствующих нелинейной регрессии, объяснена на этой перекрестной проверке. Это показывает, что полосы не всегда / обычно симметричны.
А вот объяснение с большим количеством слов и меньшим количеством математики:
Сначала давайте определим G | x, который является градиентом параметров при конкретном значении X и использующим все наиболее подходящие значения параметров. Результатом является вектор с одним элементом на параметр. Для каждого параметра он определяется как dY / dP, где Y - это значение Y кривой, учитывая конкретное значение X и все наиболее подходящие значения параметров, а P - один из параметров.)
G '| x - это транспонированный вектор градиента, поэтому он представляет собой столбец, а не строку значений. Cov - ковариационная матрица (обратный гессиан из последней итерации). Это квадратная матрица с количеством строк и столбцов, равным количеству параметров. Каждый элемент в матрице представляет собой ковариацию между двумя параметрами. Мы используем Cov для ссылки на нормализованную ковариационную матрицу , где каждое значение находится между -1 и 1.
Теперь вычислите
Результатом является одно число для любого значения X.
Полосы достоверности и прогнозирования центрированы на кривой наилучшего соответствия и простираются над и под кривой в равной степени.
Полосы доверия простираются выше и ниже кривой на:
Полосы прогнозирования простираются еще дальше над и под кривой, равной:
В обоих этих уравнениях значение c (определенное выше) зависит от значения X, поэтому полосы достоверности и прогнозирования не находятся на постоянном расстоянии от кривой. Значение SS - это сумма квадратов для подгонки, а DF - количество степеней свободы (количество точек данных минус количество параметров). CriticalT - это константа из распределения t, основанная на желаемом уровне достоверности (традиционно 95%) и количестве степеней свободы. Для пределов 95% и довольно большого значения df это значение близко к 1,96. Если DF мало, это значение выше.
источник