Что такое распределение по функциям?

Я читаю учебник Гауссовского процесса для машинного обучения CE Расмуссена и CKI Williams, и у меня возникают некоторые затруднения с пониманием того, что означает распределение по функциям . В учебнике приводится пример того, что функцию следует представлять как очень длинный вектор (на самом деле он должен быть бесконечно длинным?). Таким образом, я представляю распределение по функциям как распределение вероятностей, «нарисованное» над такими векторными значениями. Будет ли тогда вероятность того, что функция примет это конкретное значение? Или это будет вероятность того, что функция примет значение, которое находится в заданном диапазоне? Или распределение по функциям - это вероятность, назначенная целой функции?

Цитаты из учебника:

Глава 1: Введение, стр. 2

Гауссовский процесс является обобщением гауссовского распределения вероятностей. В то время как распределение вероятностей описывает случайные величины, которые являются скалярами или векторами (для многомерных распределений), случайный процесс определяет свойства функций. Оставляя в стороне математическую сложность, можно свободно думать о функции как о очень длинном векторе, причем каждая запись в векторе определяет значение функции f (x) на конкретном входе x. Оказывается, что хотя эта идея немного наивна, она удивительно близка к тому, что нам нужно. Действительно, вопрос о том, как мы имеем дело с этими бесконечно-размерными объектами в вычислительном отношении, имеет наиболее приятное из всех возможных решений: если вы спрашиваете только о свойствах функции в конечном числе точек,

Глава 2: Регрессия, стр. 7

Существует несколько способов интерпретации моделей регрессии Гауссова процесса (GP). Можно считать, что гауссовский процесс определяет распределение по функциям и вывод, происходящий непосредственно в пространстве функций, в представлении пространства функций.

Из первоначального вопроса:

Я сделал эту концептуальную картину, чтобы попытаться визуализировать это для себя. Я не уверен, что такое объяснение, которое я сделал для себя, является правильным.

После обновления:

После ответа Gijs я обновил картинку, чтобы быть концептуально более похожим на это:

$\mathbb{R}$$\mathbb{R}^2$$\mathbb{R}^n$$\mathbb{R}^n$

Вы можете просто думать о пространстве функций как о большом наборе функций, возможно, сумке вещей, если хотите. Распределение здесь дает вам вероятность нарисовать подмножество этих вещей. Распределение скажет: вероятность того, что ваш следующий розыгрыш (функции) находится в этом подмножестве, составляет, например, 10%. В случае гауссовского процесса для функций в двух измерениях вы можете спросить, учитывая xкоординату и интервалy-значения, это небольшой вертикальный отрезок, какова вероятность того, что (случайная) функция пройдет через эту маленькую линию? Это будет положительная вероятность. Таким образом, гауссовский процесс определяет распределение (вероятности) по пространству функций. В этом примере подмножество пространства функций является подмножеством, которое проходит через отрезок линии.

$\mathbb{R}$

Ваш вопрос уже был задан и получен прекрасным ответом на сайте Математики SE:

/math/2297424/extending-a-distribution-over-samples-to-a-distribution-over-functions

Звучит так, будто вы не знакомы с понятиями гауссовских мер в бесконечномерных пространствах , линейных функционалов, принудительных мер и т. Д., Поэтому я постараюсь сделать их максимально простыми.

Вы уже знаете, как определять вероятности над действительными числами (случайными переменными) и над векторами (опять же, случайными переменными, даже если мы обычно называем их случайными векторами). Теперь мы хотим ввести вероятностную меру над бесконечномерным векторным пространством: например, пространство$L^2([0,1])$$I=[0,1]$$\mathbb{R}$$\mathbb{R}^n$$L^2$

Тем не менее, есть также простой «трюк», основанный на теореме расширения Колмогорова , которая в основном и заключается в том, как случайные процессы вводятся в большинстве вероятностных курсов, которые не являются строго теоретико-мерными. Теперь я буду очень волнистым и не строгим, и ограничусь случаем гауссовских процессов. Если вы хотите более общее определение, вы можете прочитать ответ выше или посмотреть ссылку в Википедии. Теорема о расширении Колмогорова, примененная к вашему конкретному случаю использования, утверждает более или менее следующее:

• $S_n=\{ t_1, \dots ,t_n\} \subset I$$\mathbf{x}_n=(x(t_1),\dots,x(t_n))$
• $S_n, S_m, \enspace S_n\subset S_m$$f_{S_n}(x_1,\dots,x_n)$$f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)$$f_{S_m}$$S_m$$S_n$$f_{S_n}$

• $X$$L^2$$S_n$$n$

Фактическая теорема гораздо более общая, но я думаю, это то, что вы искали.