Обладают ли гауссовский процесс (регрессия) свойством универсального приближения?

10

Может ли любая непрерывная функция на [a, b], где a и b являются действительными числами, быть аппроксимированной или произвольно близкой к функции (в некоторой норме) гауссовскими процессами (регрессия)?

Майкл Д
источник
1
Более конкретно!
Henry.L
1
да! Ну, на самом деле, это зависит от ковариационной функции, но для некоторых из них они . Дастин Тран и соавт. также доказал теорему универсального приближения в байесовской структуре для вариационного гауссова процесса , которая является более сложной моделью из-за функций деформации, но она очень тесно связана. Я напишу ответ, если вопрос будет вновь открыт. PS отметим, что универсальное приближение, как и для нейронных сетей, справедливо только для компактного множества, а не для всего . Rp
DeltaIV
3
Утверждение «универсального приближения» в этом вопросе, похоже, не имеет ничего общего с утверждением в ссылочной статье Википедии. Действительно, даже не ясно, как можно приблизить функцию к процессу . Не могли бы вы уточнить, что вы пытаетесь спросить?
whuber
5
@whuber Хотя технические детали могут быть немного неубедительными, я думаю, что вопрос, по сути, означает: «Для входной функции есть реализация конкретного GP, который произвольно близок к (в некоторой норме)?» Или, возможно, «поскольку мы наблюдаем бесконечно много выборочных точек из функции и выполняем стандартный вывод GP с этими данными, приближается ли изученная апостериорная средняя функция к истинной функции (в некотором смысле)?» Эти два, конечно, разные свойства, но я бы посчитал их достаточно близкими, чтобы быть ответственными (и, следовательно, отдать пятое вновь открытое голосование). ф ф фffff
Дугал
1
Может быть, вы хотите доказать сходимость вместо приближения. В противном случае доказательство простое: вы можете взять функцию как предыдущую для среднего значения. Это не намного больше, чем , но это работает. x=x
Карел Мацек

Ответы:

16

Как отмечает @Dougal, ваш вопрос может быть интерпретирован двумя различными способами. Они тесно связаны, даже если это не так.

Первая интерпретация такова: пусть - компактное подмножество (компактность фундаментальна для всего следующего !!!), пусть - непрерывную ковариационную функцию (или ядро), определенную в , и обозначим через нормированное пространство непрерывных функций на , снабженное максимальной нормой . Для любой функции , может ли быть приближена к заданному допуску функцией в RKHS (Воспроизведение гильбертового пространства ядра), связанной сXRdk(x,x)X×XC(X)X||||fC(X)fϵk? Вы можете задаться вопросом, что такое RKHS и какое отношение все это имеет к регрессии Гауссова процесса. RKHS является замыканием векторного пространства, образованного всеми возможными конечными линейными комбинациями всех возможных функций , где . Это очень строго связано с регрессией гауссовского процесса, потому что если задан процесс Гаусса до в пространстве , то (замыкание) Пространство всех возможных апостериорных сред, которые могут быть получены с помощью Гауссовой регрессии процесса, является именно RKHS. На самом деле все возможные последующие средства имеют видK(X)fy(x)=k(x,y)yXGP(0,k(x,x))C(X)

f(x)=i=1ncik(x,xi)

то есть они являются конечными линейными комбинациями функций . Таким образом, мы эффективно спрашивать , если для гауссовского процесса перед на , для любой функции есть всегда является функцией в (закрытии) пространстве всех функций, которые могут быть сгенерированы GPR, который находится так близко, как это требуется к .fxi(x)=k(x,xi)GP(0,k(x,x))C(X)fC(X)ff

Ответ для некоторых конкретных ядер (включая классическое квадратное экспоненциальное ядро, но не включая полиномиальное ядро) - да . Можно доказать , что для таких ядер является плотным в , то есть, для любого и для любого допуска , есть в , таким что . Обратите внимание на предположения: компактно, непрерывно, а - непрерывное ядро, обладающее так называемым свойством универсального приближения. Смотрите здесьC ( X ) f C ( X ) ϵ f K ( X ) | | f - f | | < ϵ X f kK(X)C(X)fC(X)ϵfK(X)||ff||<ϵXfk для полного доказательства в более общем (таким сложным) контексте.

Этот результат гораздо менее мощный, чем кажется на первый взгляд. Даже если находится в (закрытия) пространства задних средств , которые могут быть получены с помощью георадара, мы не доказали , что это особая задняя означает возвращаемый GPR для обучения устанавливается достаточно большой, где из Конечно, обучающий набор состоит из зашумленных наблюдений за в точках . Мы даже не доказали, что среднее значение, возвращаемое GPR, сходится вообще, для ! На самом деле это вторая интерпретация, предложенная @Dougal. Ответ на этот вопрос зависит от ответа на первый вопрос: если нет функции f x 1 , , x n n f fffx1,,xnnfв RKHS, который является «хорошим приближением» к , конечно, мы не можем надеяться, что среднее значение, возвращаемое GPR, сходится к нему. Однако это другой вопрос. Если вы хотите получить ответ и на этот вопрос, задайте новый вопрос.f

DeltaIV
источник