Дивергенция Кульбака-Лейблера - это метрика для сравнения двух функций плотности вероятности, но какая метрика используется для сравнения двух ГП и ?
gaussian-process
metric
Пушкарь
источник
источник
Ответы:
Заметим , что распределение гауссовских процессов является расширением многомерного гауссова для возможного бесконечного X . Таким образом, вы можете использовать KL-расхождение между распределениями вероятностей GP, интегрируя по R X :X→R X RX
Вы можете использовать методы MC для численного приближения этой величины к дискретизированному путем многократной выборки процессов в соответствии с их распределением по GP. Я не знаю, достаточно ли хорошая скорость сходимости ...X
Заметим, что если конечно с | X | = n , то вы возвращаетесь к обычной дивергенции KL для многомерных нормальных распределений: D K L ( G P ( μ 1 , K 1 ) , G P ( μ 2 , K 2 ) ) = 1X |X|=n
источник
Помните, что если - гауссовский процесс со средней функцией m и ковариационной функцией K , то для любого t 1 , … , t k ∈ T случайный вектор ( X ( t 1 ) , … , X ( t k ) ) имеет многомерное нормальное распределение со средним вектором ( m ( t 1 ) , … , mX:T×Ω→R m K t1,…,tk∈T (X(t1),…,X(tk)) и ковариационной матрицы Σ = ( σ i j ) = ( K ( t i , t j ) ) , где мы использовали общее сокращение X ( t ) = X ( t ,(m(t1),…,m(tk)) Σ=(σij)=(K(ti,tj)) .X(t)=X(t,⋅)
Каждая реализация является вещественной функцией, область является множество индексов T . Предположим, что T = [ 0 , 1 ] . Для двух гауссовских процессов X и Y одно общее расстояние между двумя реализациями X (X(⋅,ω) T T=[0,1] X Y и Y (X(⋅,ω) является вир т ∈ [ 0 , 1 ] | X ( t , ω ) - Y ( t , ω ) | , Следовательно, кажется естественным определить расстояние между двумя процессами X и Y как
d ( X , Y ) = EY(⋅,ω) supt∈[0,1]|X(t,ω)−Y(t,ω)| X Y
Я не знаю, существует ли аналитическое выражение для этого расстояния, но я считаю, что вы можете вычислить приближение Монте-Карло следующим образом. Зафиксируем некоторую точную сетку 0 ≤ t 1 < ⋯ < t k ≤ 1 и возьмем выборки ( x i 1 , … , x i k ) и ( y i 1 , … , y i k ) из нормальных случайных векторов ( X ( т 1 ,
источник