Математические и статистические предпосылки для понимания фильтров частиц?

В настоящее время я пытаюсь понять фильтры частиц и их возможное использование в финансах, и я немного борюсь. Какие математические и статистические предпосылки я должен пересмотреть (исходя из опыта количественного финансирования), чтобы (i) сделать основы фильтров частиц доступными, и (ii) чтобы позже понять их полностью? У меня есть глубокие знания эконометрики временных рядов на уровне выпускников, за исключением моделей пространства состояний, которые я еще не рассматривал.

Любые намеки очень ценятся!

Вы можете получить потрясающе далеко с помощью нескольких основных концепций. Нотация, взрыв переменные и т.д. ... может сделать вещи выглядят сложной, но основная идея фильтрации частиц удивительно проста.

Некоторая базовая вероятность того, что вам нужно (и, скорее всего, уже!) Понять:

• Вычисление предельного распределения :$P(X = x) = \sum_i P(X = x, Y = y_i)$
• Отсроченный Условная вероятность:$P(X \mid Y) = \frac{P(X,Y)}{P(Y)}$
• Правило Байеса:$P(X \mid Y) = \frac{P(Y \mid X) P(X)}{P(Y)}$
• Байесовские термины: например до, правдоподобие, апостериор (+1 @Yair Daon, я согласен!)

Основные шаги фильтра частиц невероятно просты:

Первый:

• Начните с некоторых убеждений о каком-то скрытом состоянии. Например, вы можете начать с убеждения, что ваша ракета находится на стартовой площадке. (В фильтре частиц представления о скрытом состоянии будут представлены облаком точек, каждая точка обозначает возможное значение скрытого состояния. Каждая точка также связана с вероятностью того, что состояние является истинным состоянием.)

Затем вы выполняете следующие шаги для обновления со времени до времени :$t$$t+1$

1. Шаг прогнозирования: перемещение вперед точек на основе закона движения. (например, перемещать точки вперед на основе текущей скорости ракеты, траектории и т. д.). Это обычно расширяет облако точек по мере увеличения неопределенности.
2. Шаг обновления вероятности: используйте данные, данные датчика, чтобы обновить вероятности, связанные с точками, используя правило Байеса. Это, как правило, разрушит облако точек, поскольку неопределенность уменьшается.
3. Добавьте некоторые шаги / приемы фильтрации частиц. Например. :
   • Иногда пересчитывайте ваши баллы, чтобы каждая точка имела равную вероятность.
   • Смешайте немного шума, не дайте шагу вероятности (2) слишком сильно свалить ваше облако точек (при фильтрации частиц важно, чтобы в вашем истинном местоположении была хотя бы одна точка с положительной вероятностью, неопределенно!)

Пример:

Инициализируйте свой фильтр: - Посмотрите на ваше местоположение, где вы стоите. Теперь закрой глаза.

Затем повторяем:

1. Сделайте шаг вперед с закрытыми глазами.
2. Шаг Предсказания: учитывая прошлые убеждения о том, где вы были стоять, предсказать , где вы в настоящее время стоявшим данный шаг вперед. (Обратите внимание, как увеличивается неопределенность, потому что ваш шаг вперед с закрытыми глазами не супер точен!)
3. Шаг обновления: Используйте датчики (например, чувство вокруг и т. Д.), Чтобы обновить свои убеждения о том, где вы стоите.

ПОВТОРЕНИЕ!

Механизм вероятности, требуемый для реализации, в основном является лишь основной вероятностью: правило Байеса, вычисление предельного распределения и т. Д.

Сильно связанные идеи, которые могут помочь понять общую картину:

В некотором смысле шаги (1) и (2) являются общими для любой задачи байесовской фильтрации . Некоторые тесно связанные понятия, о которых возможно прочитать:

• Скрытая марковская модель . Процесс марковский, если прошлое не зависит от будущего с учетом текущего состояния. Практически любой временной ряд моделируется как некий марковский процесс. Скрытые модели Маркова является один , где непосредственно не наблюдается состояние (например, вы никогда не непосредственно наблюдать точное местоположение вашей ракеты и вместо того, чтобы вывести его местоположение через фильтр байесовского).
• Фильтр Калмана . Это альтернатива фильтрации частиц, которая обычно используется. По сути, это байесовский фильтр, где все считается многомерным гауссовским.

Сначала вы должны изучить более простые в кодировании модели пространства состояний и фильтрацию в закрытой форме (т. Е. Фильтры Калмана, скрытые марковские модели). Мэтью Ганн прав, что с простыми понятиями вы можете удивительно далеко уйти, но, по моему скромному мнению, вы должны сделать это промежуточной целью, потому что:

1.) Условно говоря, в моделях пространства состояний больше движущихся частей. Когда вы изучаете SSM или скрытые марковские модели, есть много обозначений. Это означает, что в вашей рабочей памяти есть больше вещей, которые вы можете проверять. Лично, когда я впервые узнал о фильтрах Калмана и линейно-гауссовых SSM, я в основном думал: «Это все только свойства многомерных нормальных векторов… Я просто должен отслеживать, какая матрица есть какая». Кроме того, если вы переключаетесь между книгами, они часто меняют нотацию.

Впоследствии я подумал об этом, как «ах, это все просто правило Байеса в каждый момент времени». Когда вы думаете об этом таким образом, вы понимаете, почему сопряженные семейства хороши, как в случае фильтра Калмана. Когда вы кодируете скрытую марковскую модель с ее дискретным пространством состояний, вы понимаете, почему вам не нужно вычислять вероятность, а фильтрация / сглаживание просты. (Я думаю, что я отклоняюсь от обычного хммм жаргона здесь.)

2.) Сокращение ваших зубов при кодировании многих из них поможет вам понять, насколько общим является определение модели пространства состояний. Довольно скоро вы будете записывать модели, которые хотите использовать, и в то же время понимаете, почему не можете. Сначала вы увидите, что просто не можете записать это в одной из этих двух форм, к которым вы привыкли. Когда вы думаете об этом немного больше, вы записываете правило Байеса и видите, что проблема заключается в вашей неспособности вычислить некоторую вероятность для данных.

Таким образом, вы в конечном итоге не сможете рассчитать эти апостериорные распределения (сглаживание или фильтрация распределений состояний). Чтобы позаботиться об этом, существует множество приблизительных фильтров. Фильтрация частиц - только один из них. Основной вывод фильтрации частиц: вы моделируете из этих распределений, потому что не можете их рассчитать.

Как вы симулируете? Большинство алгоритмов являются лишь одним из вариантов выборки по важности. Но и здесь все усложняется. Я рекомендую этот учебный документ от Doucet и Johansen ( http://www.cs.ubc.ca/~arnaud/doucet_johansen_tutorialPF.pdf ). Если вы поймете, как работает фильтрация закрытых форм, они представят общую идею выборки по важности, затем общую идею метода Монте-Карло, а затем покажут вам, как использовать эти две вещи, чтобы начать работу с хорошим примером финансового временного ряда. ИМХО, это лучшее руководство по фильтрации частиц, с которым я когда-либо сталкивался.

В дополнение к добавлению двух новых идей к миксу (выборка по важности и метод Монте-Карло) теперь есть еще несколько обозначений. Некоторые плотности, из которых вы сейчас отбираете образцы; некоторые вы оцениваете, и когда вы оцениваете их, вы оцениваете по образцам. В результате, после того как вы все это закодируете, получаются взвешенные образцы, которые считаются частицами. Они меняются после каждого нового наблюдения. Было бы очень трудно поднять все это сразу. Я думаю, что это процесс.

Я извиняюсь, если я выгляжу как загадочный, или волнистый. Это всего лишь график моего личного знакомства с предметом. Пост Мэтью Ганна, вероятно, более прямо отвечает на ваш вопрос. Я просто подумал, что я бы выбросил этот ответ.