Может ли любая непрерывная функция на [a, b], где a и b являются действительными числами, быть аппроксимированной или произвольно близкой к функции (в некоторой норме) гауссовскими процессами (регрессия)?
gaussian-process
approximation
Майкл Д
источник
источник
Ответы:
Как отмечает @Dougal, ваш вопрос может быть интерпретирован двумя различными способами. Они тесно связаны, даже если это не так.
Первая интерпретация такова: пусть - компактное подмножество (компактность фундаментальна для всего следующего !!!), пусть - непрерывную ковариационную функцию (или ядро), определенную в , и обозначим через нормированное пространство непрерывных функций на , снабженное максимальной нормой . Для любой функции , может ли быть приближена к заданному допуску функцией в RKHS (Воспроизведение гильбертового пространства ядра), связанной сX Rd k(x,x) X×X C(X) X ||⋅||∞ f∈C(X) f ϵ k ? Вы можете задаться вопросом, что такое RKHS и какое отношение все это имеет к регрессии Гауссова процесса. RKHS является замыканием векторного пространства, образованного всеми возможными конечными линейными комбинациями всех возможных функций , где . Это очень строго связано с регрессией гауссовского процесса, потому что если задан процесс Гаусса до в пространстве , то (замыкание) Пространство всех возможных апостериорных сред, которые могут быть получены с помощью Гауссовой регрессии процесса, является именно RKHS. На самом деле все возможные последующие средства имеют видK(X) fy(x)=k(x,y) y∈X GP(0,k(x,x)) C(X)
то есть они являются конечными линейными комбинациями функций . Таким образом, мы эффективно спрашивать , если для гауссовского процесса перед на , для любой функции есть всегда является функцией в (закрытии) пространстве всех функций, которые могут быть сгенерированы GPR, который находится так близко, как это требуется к .fxi(x)=k(x,xi) GP(0,k(x,x)) C(X) f∈C(X) f∗ f
Ответ для некоторых конкретных ядер (включая классическое квадратное экспоненциальное ядро, но не включая полиномиальное ядро) - да . Можно доказать , что для таких ядер является плотным в , то есть, для любого и для любого допуска , есть в , таким что . Обратите внимание на предположения: компактно, непрерывно, а - непрерывное ядро, обладающее так называемым свойством универсального приближения. Смотрите здесьC ( X ) f ∈ C ( X ) ϵ f ∗ K ( X ) | | f - f ∗ | | ∞ < ϵ X f kK(X) C(X) f∈C(X) ϵ f∗ K(X) ||f−f∗||∞<ϵ X f k для полного доказательства в более общем (таким сложным) контексте.
Этот результат гораздо менее мощный, чем кажется на первый взгляд. Даже если находится в (закрытия) пространства задних средств , которые могут быть получены с помощью георадара, мы не доказали , что это особая задняя означает возвращаемый GPR для обучения устанавливается достаточно большой, где из Конечно, обучающий набор состоит из зашумленных наблюдений за в точках . Мы даже не доказали, что среднее значение, возвращаемое GPR, сходится вообще, для ! На самом деле это вторая интерпретация, предложенная @Dougal. Ответ на этот вопрос зависит от ответа на первый вопрос: если нет функции f x 1 , … , x n n → ∞ f ∗ ff∗ f x1,…,xn n→∞ f∗ в RKHS, который является «хорошим приближением» к , конечно, мы не можем надеяться, что среднее значение, возвращаемое GPR, сходится к нему. Однако это другой вопрос. Если вы хотите получить ответ и на этот вопрос, задайте новый вопрос.f
источник