Сомнения в выводе уравнений регрессии гауссовского процесса в статье

9

Я читаю этот препринт и испытываю трудности с выводом уравнений для регрессии гауссовского процесса. Они используют настройки и обозначения Расмуссена и Уильямса . Таким образом, аддитивный, с нулевым средним, стационарный и нормально распределенный шум с дисперсией предполагается:σnoise2

y=f(x)+ϵ,ϵN(0,σnoise2)

Для предполагается предшествующий GP с нулевым средним , что означает, что , является гауссовским вектором со средним 0 и ковариационной матрицейf(x) dNf={f(x1),,f(xd)}

Σd=(k(x1,x1)k(x1,xd)k(xd,x1)k(xd,xd))

Отныне мы предполагаем, что гиперпараметры известны. Тогда уравнение (4) статьи очевидно:

p(f,f)=N(0,(Kf,fKf,fKf,fKf,f))

Здесь приходят сомнения:

  1. Уравнение (5):

    p(y|f)=N(f,σnoise2I)

    E [ y | f ] = f0 f y = c + ϵ c ϵE[f]=0 , но я думаю, потому что, когда я условие на , тогда где - постоянный вектор, и только - случайный. Правильный?E[y|f]=f0fy=c+ϵcϵ

  2. Во всяком случае, это уравнение (6), которое является более неясным для меня:

    p(f,f|y)=p(f,f)p(y|f)p(y)

    Это не обычная форма теоремы Байеса. Теорема Байеса будет

    p(f,f|y)=p(f,f)p(y|f,f)p(y)

    Я вроде понимаю, почему эти два уравнения одинаковы: интуитивно вектор ответа зависит только от соответствующего скрытого вектора , что обусловливает или должны привести к тому же распределению. Однако это интуиция, а не доказательство! Можете ли вы помочь мне показать, почемуf f ( f , f )yff(f,f)

    p(y|f,f)=p(y|f)
DeltaIV
источник

Ответы:

1
  1. Если мы исправим , то вся неопределенность в исходит из шума. Таким образом, для уравнения (5) в статье мы имеем, что с учетом мы имеем в каждой точке независимый шум с дисперсией и средним нулем . Добавляем начальное среднее и получаем ответ.у е сг 2 п ö я сек е 0fyfσnoise20
  2. Один из способов доказать предлагаемое равенство - найти распределение в с левой стороны и с правой стороны качества. Они оба гауссовы, для левой стороны мы уже знаем ответ. Для правой стороны мы поступим аналогичным образом. Найдем условное распределение для . Из результата первой части мы знаем: Используя правила вероятности, легко интегрировать из( y , y ) p ( y , y| f , f ) = N ( ( f , f ) , σ 2 n o i s е я ) . y ( y , y
    p(y|f,f)=p(y|f)
    (y,y)
    p(y,y|f,f)=N((f,f),σnoise2I).
    yy y p ( y | f , f ) = N ( f , σ 2 n o i s e I ) = p ( y | f ) .(y,y), поскольку ковариационная матрица диагональна, а векторы и независимы. Делая это, мы получаем: yy
    p(y|f,f)=N(f,σnoise2I)=p(y|f).
Алексей Зайцев
источник