Гауссовский процесс: свойства аппроксимации функции

16

Я изучаю гауссовский процесс и слышал только кусочки. Буду очень признателен за комментарии и ответы.

Верно ли, что для любого набора данных приближение функции гауссовского процесса даст нулевую или незначительную ошибку подгонки в точках данных? В другом месте я также слышал, что гауссовский процесс особенно хорош для шумных данных. Похоже, это находится в конфликте с низкой ошибкой подгонки для любых наблюдаемых данных?

Кроме того, вдали от точек данных, кажется, больше неопределенности (большая ковариация). Если да, то ведет ли он себя как локальные модели (RBF и т. Д.)?

Наконец, есть ли универсальное свойство аппроксимации?

oalah
источник

Ответы:

17

Предположим, что выборка данных . Также предположим, что у нас есть ковариационная функция k ( x 1 , x 2 ) и нулевое среднее значение, заданное для процесса Гусиана. Распределение для новой точки x будет гауссовым со средним m ( x ) = k K - 1 yDзнак равно(Икс,Y)знак равно{Икся,Yязнак равноY(Икся)}язнак равно1NК(Икс1,Икс2)Икс

м(Икс)знак равноКК-1Y
и дисперсией Вектор k = { k ( x , x 1 ) , , k ( x , x N ) } - вектор ковариаций, матрица K = { k ( x i , x j ) } N i
В(Икс)знак равноК(Икс,Икс)-КК-1КT,
Кзнак равно{К(Икс,Икс1),...,К(Икс,ИксN)} - матрица выборочных ковариаций. В случае, когда мы делаем прогноз, используя среднее значение апостериорного распределения для выборки,свойство свойствавыполняется. Действительно, m(X)=KK-1y=y. Но это не тот случай, если мы используем регуляризацию, т.е. включаем термин белый шум. в этом случае ковариационная матрица для выборки имеет видK+σI, но для ковариаций с действительными значениями функции мы имеем ковариационную матрицуK, а среднее значение для задней части m(X)=KКзнак равно{К(Икся,ИксJ)}я,Jзнак равно1N
м(Икс)знак равноКК-1Yзнак равноY,
К+σяК
м(Икс)знак равноК(К+σя)-1YY,

σσзнак равно0σ

КО(N)N

Алексей Зайцев
источник