Сплайны против регрессии гауссовского процесса

15

Я знаю, что Гауссова регрессия процесса (GPR) является альтернативой использованию сплайнов для подгонки гибких нелинейных моделей. Я хотел бы знать, в каких ситуациях одна из них более подходит, чем другая, особенно в рамках байесовской регрессии.

Я уже рассмотрел Какие преимущества / недостатки использования сплайнов, сглаженных сплайнов и эмуляторов гауссовских процессов? но в этом посте ничего не говорится о георадаре.

regression gaussian-process splines kriging вед
источник
Я бы сказал, что GP - это более управляемый данными подход к подгонке нелинейной функции. Сплайны обычно ограничены n-м полиномом. ГП могут моделировать более сложные функции, чем полиномы (хотя не уверен на 100%).
Владислав Довгальец

Ответы:

15

Я согласен с ответом @j __.

Тем не менее, я хотел бы подчеркнуть тот факт, что сплайны являются лишь частным случаем регрессии / кригинга гауссовского процесса .

Если вы берете ядро ​​определенного типа в регрессии гауссовского процесса, вы точно получаете модель подгонки сплайна.

Этот факт доказан в этой статье Kimeldorf и Wahba (1970) . Он довольно технический, так как использует связь между ядрами, используемыми в кригинге, и репродуцирующими гильбертовыми пространствами ядра (RKHS).

Поп
источник
2
Например, в одномерном случае модель ГП для известного сглаживающего сплайна представляет собой просто дважды интегрированный гауссовский белый шум. Это использовалось Крейгом Ансли и Робертом Коном для разработки эффективных алгоритмов в конце 1980-х годов. Я считаю, что эту эквивалентность можно частично понять, не углубляясь в глубокую математику RKHS.
Ив
Это очень хороший ответ.
Астрид
6

Это очень интересный вопрос: эквивалент между гауссовскими процессами и сглаживающими сплайнами был показан в Kimeldorf и Wahba 1970. Обобщение этого соответствия в случае вынужденной интерполяции было разработано в Bay et al. 2016.

Бей и соавт. 2016. Обобщение соответствия Кимельдорфа-Вахбы для вынужденной интерполяции. Электронный журнал статистики.

В этой статье обсуждается преимущество байесовского подхода.

Маатук Хасан
источник
2

Я согласен с комментарием @ xeon, а также в GPR распределение вероятностей по бесконечному числу возможных функций, а средняя функция (подобная сплайну) является только оценкой MAP, но у вас также есть расхождение по этому поводу. Это дает большие возможности, такие как экспериментальный дизайн (выбор исходных данных, которые являются максимально информативными). Также, если вы хотите выполнить интеграцию (квадратуру) модели, у GP будет результат по Гауссу, что позволит вам придать уверенности вашему результату. По крайней мере, для стандартных моделей сплайнов это невозможно.

На практике GPR дает более информативный результат (по моему опыту), но сплайн-модели кажутся мне более быстрыми.

j__
источник