Байесовское онлайн-обнаружение точек изменения (предельное прогнозное распределение)

9

Я читаю байесовскую онлайн-статью об обнаружении точек смены Адамса и Маккея ( ссылка ).

Авторы начинают с написания предельного распределительного предсказания: где

P(xt+1|x1:t)=rtP(xt+1|rt,xt(r))P(rt|x1:t)(1)
  • тxt - наблюдение в момент времени ;t
  • тx1:t обозначает набор наблюдений до момента времени ;t
  • rtN - текущая длина цикла (время с момента последнего изменения может быть 0); а также
  • xt(r) - это набор наблюдений, связанных с прогоном .rt

Eq. 1 является формально правильным (см. Ответ ниже @JuhoKokkala), но я понимаю, что если вы действительно хотите сделать прогноз о вам нужно расширить его следующим образом:xt+1

P(xt+1|x1:t)=rt,rt+1P(xt+1|rt+1,xt(r))P(rt|x1:t)P(rt+1|rt)(1b)

Мое рассуждение состоит в том, что вполне может быть точка изменения в (будущем) времени , но апостериорный охватывает только до .P ( r t | x 1 : t ) tt+1P(rt|x1:t)t

Дело в том, что авторы в статье делают нас из уравнения. 1 как есть (см. Уравнения 3 и 11 в статье), а не 1b. Таким образом, они, по-видимому, игнорируют возможность изменения точки в момент времени при прогнозировании из данных, доступных в момент времени . В начале раздела 2 они говорят en passantх т + 1 тt+1xt+1t

Мы предполагаем, что мы можем вычислить прогнозирующее распределение [для ] при условии заданной длины . г тxt+1rt

что, возможно, в этом и заключается хитрость. Но в целом, это прогнозное распределение должно выглядеть примерно как 1b; что не то, что они делают (уравнение 11).

Так что я не уверен, что понимаю, что происходит. Возможно, что-то смешное происходит с обозначениями.


Ссылка

  • Adams, RP & MacKay, DJ (2007). Байесовское обнаружение онлайн-изменений. Препринт arXiv arXiv: 0710.3742.
lacerbi
источник
Потенциальное объяснение состоит в том, что представляет длину пробега в конце временного шага , который находится после точки изменения в момент времени . С этим, уравнение 1 имеет смысл. Фактически, одной из инициализаций алгоритма является установка что предполагает наличие точки изменения непосредственно перед началом в . Однако рисунок 1 неверен (или, по крайней мере, вводит в заблуждение) в том смысле, что если существует точка изменения между и и между и как изображено на рис. 1a, то и t t P ( r 0rtttt = 1 t = 4 t = 5 t = 10 t = 11 r 4 r 10 r 5 r 11P(r0=0)=1t=1t=4t=5t=10t=11r4r10должно быть 0 в соответствии с этим обозначением, а не и согласно 1b. r5r11
Lacerbi
1
В уравнении происходит нечто странное. 3, поскольку средний фактор в слагаемом в последней строке равен то время как я думал, что содержит . Я подозреваю, что и поменялись местами, так как имеет смысл. В формуле 11, правая часть, кажется, зависит от который вообще не отображается в левой части, так что либо что-то не так, либо я вообще не понимаю обозначения. x ( r ) t x t t t - 1 P ( x tr t , x ( r ) t - 1 ) x ( r ) tP(xtrt1,xt(r))xt(r)xttt1P(xtrt,xt1(r))xt(r)
Юхо Коккала
@JuhoKokkala: Я рад, что я не единственный, у кого такое чувство ...
lacerbi
1
@lacerbi, у меня есть еще один вопрос по поводу этой статьи, и я думаю, что вы сможете ответить на него, поскольку вы, кажется, знакомы с работой: stats.stackexchange.com/questions/419988 .
GWG

Ответы:

5

Оба (1) и (1b) являются правильными. ОП имеет право на то, что (в этой модели) может быть точка изменения в момент времени , и зависит от того, существует ли точка изменения. Это не влечет за собой никаких проблем с (1), поскольку возможные значения полностью «покрыты» . означает условное распределение обусловливающие . Это условное распределение усредняется по «всему остальному», включая , условно по . Также как можно написать, скажем,x t + 1 r t + 1 P ( x t + 1t+1xt+1rt+1P(xt+1rt,x1:t)P(xt+1|rt,x1:t)xt+1(rt,x1:t)rt+1(rt,x1:t)P(xt+1000|xt), что будет учитывать все возможные конфигурации точек изменения, а также значения s, возникающие между и .xitt+1000

В остальном я сначала получаю (1), а затем (1b) на основе (1).

Вывод (1)

Для любых случайных величин имеем пока является дискретным (в противном случае сумма должна быть заменена интегралом). Применяя это к :A,B,C

P(AB)=cP(AB,C=c)P(C=cB),
Cxt+1,x1:t,rt

P(xt+1x1:t)=rtP(xt+1rt,x1:t)P(rtx1:t),
которое содержит независимо от того, каковы зависимости между , , , то есть никаких модельных предположений пока нет был использован. В настоящей модели заданным предполагается * условно независимым от значений из прогонов до . Это подразумевает . Подставляя это в предыдущее уравнение, получимrtx1:txt+1xt+1rt,xt(r)xxt(r)P(xt+1rt,x1:t)=P(xt+1rt,xt(r))

P(xt+1x1:t)=rtP(xt+1rt,xt(r))P(rtx1:t),(1)
которое (1) в OP.

Вывод (1b)

Рассмотрим разложение на возможные значения : P(xt+1rt,xt(r))rt+1

P(xt+1rt,xt(r))=rt+1P(xt+1rt+1,rt,xt(r))P(rt+1rt,xt(r)).

Поскольку предполагается *, что возникновение точки изменения в (между и ) не зависит от истории , мы имеем . Кроме того, поскольку определяет, принадлежит ли к тому же , что и , мы имеем . Подставляя эти два упрощения в приведенную выше факторизацию, мы получаем t+1xtxt+1xP(rt+1rt,xt(r))=P(rt+1rt)rt+1xt+1xtP(xt+1rt+1,rt,xt(r))=P(xt+1rt+1,xt(r))P ( x t + 1x 1

P(xt+1rt,xt(r))=rt+1P(xt+1rt+1,xt(r))P(rt+1rt).
Подставляя это в (1), мы получаем которое является OP (1b).
P(xt+1x1:t)=rt(rt+1P(xt+1rt+1,xt(r))P(rt+1rt))P(rtx1:t),(1b)

* Замечание об условных предположениях независимости модели

Основываясь на быстром просмотре статьи, я лично хотел бы, чтобы свойства условной независимости были где-то более явно указаны, но я предполагаю, что предполагается, что марковское, а : s, связанные с различными прогонами, независимы (учитывая прогоны).хrx

Юхо Коккала
источник
1
(+1) Спасибо. Да, конечно, я понимаю, что уравнение 1 является формально правильным, если предполагается неявная маргинализация через . Проблема заключается в том, что позже авторы делают предсказания (уравнение 11 в статье и неявно в уравнении 3), и они, по-видимому, не маргинализируются по когда они их принимают. r t + 1rt+1rt+1
Lacerbi
1
Ой. Кажется, тогда я неправильно понял вопрос - я должен удалить это? Вы можете уточнить вопрос, в настоящее время это звучит так (1) как-то неправильно (вместо, возможно, бесполезно)
Юхо Коккала
Пожалуйста, сохраните этот ответ, который является ценным. Моя ошибка в том, что я не был достаточно понятен в своем первоначальном посте. Я попытался прояснить свой вопрос благодаря вашим комментариям и таким образом, что этот ответ все еще имеет смысл.
Lacerbi