Я спрашивал об этом раньше и действительно пытался определить, что делает параметр модели, а что скрытой переменной. Итак, глядя на различные темы по этой теме на этом сайте, основное различие выглядит следующим образом:
Скрытые переменные не наблюдаются, но имеют связанное с ними распределение вероятностей, так как они являются переменными, а параметры также не наблюдаются и не имеют связанного с ними распределения, которое, как я понимаю, является постоянным и имеет фиксированное, но неизвестное значение, которое мы пытаемся находить. Кроме того, мы можем поставить априоры на параметры, чтобы представить нашу неопределенность относительно этих параметров, даже если с ними связано только одно истинное значение или, по крайней мере, это то, что мы предполагаем. Надеюсь, я прав до сих пор?
Теперь я смотрел на этот пример для байесовской линейной регрессии из журнальной статьи и действительно пытался понять, что такое параметр, а что переменная:
Здесь и наблюдаются, но только рассматривается как переменная, т.е. имеет распределение, связанное с ней.у у
Теперь предположения моделирования:
Таким образом, дисперсия взвешена.
Существует также предварительное распределение для и , которые являются нормальным и гамма-распределением соответственно. w
Итак, полная логарифмическая вероятность определяется как:
Теперь, насколько я понимаю, и и являются параметрами модели. Однако в статье они продолжают называть их скрытыми переменными. Мое рассуждение и оба являются частью распределения вероятностей для переменной и они являются параметрами модели. Однако авторы рассматривают их как скрытые случайные величины. Это верно? Если да, то какими будут параметры модели?
Документ можно найти здесь ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).
В статье «Автоматическое обнаружение выбросов: байесовский подход» Ting et al.
Ответы:
В статье, и вообще, (случайные) переменные - это все, что взято из распределения вероятностей. Скрытые (случайные) переменные - это те, которые вы непосредственно не наблюдаете (y наблюдается, β нет, но обе являются rv). Из скрытой случайной величины вы можете получить апостериорное распределение, то есть распределение вероятностей, обусловленное наблюдаемыми данными.
С другой стороны, параметр является фиксированным, даже если вы не знаете его значение. Оценка максимального правдоподобия, например, дает вам наиболее вероятное значение вашего параметра. Но это дает вам точку, а не полное распространение, потому что фиксированные вещи не имеют распределения! (Вы можете указать распределение того, насколько вы уверены в этом значении или в каком диапазоне это значение, но это не то же самое, что распределение самого значения, которое существует, только если значение на самом деле является случайным переменная)
В этом предложении:
теоретически они говорят о двух параметрах, а не о тех, которые являются случайными переменными, поскольку в EM это то, что вы делаете, оптимизируя параметры.
источник