Значение вероятностных обозначений и

27

Какая разница в значении между обозначениями и которые обычно используются во многих книгах и статьях?P(z;d,w)P(z|d,w)

ученик
источник
13
f (x; θ) - это то же самое, что f (x | θ), просто означает, что θ является фиксированным параметром, а функция f является функцией от x. f (x, Θ), OTOH, является элементом семейства (набора) функций, где элементы индексируются с помощью Θ. Тонкое различие, возможно, но важное, особенно когда приходит время оценить неизвестный параметр θ на основе известных данных x; в это время θ изменяется и x фиксируется, что приводит к «функции правдоподобия». Использование "|" чаще встречается среди статистиков, ";" среди математиков.
jbowman
Да, Jbowman это правильно. Мы иногда называем это плотностью X, заданной Θ.
Майкл Р. Черник
@jbowman, почему бы не опубликовать это как ответ? Мой единственный вопрос - зачем им использовать оба, но я предполагаю, что это как-то связано с контекстом («|» используется с «P», а «;» с « f »).
Абэ
Хорошее мышление, Эйб; вот наверное Полагаю, что f более общий.
jbowman

Ответы:

12

Я полагаю, что источником этого является парадигма правдоподобия (хотя я не проверил фактическую историческую правильность приведенного ниже, это разумный способ понять, как это произошло).

Допустим, в настройке регрессии у вас будет распределение: p (Y | x, бета), что означает: распределение Y, если вы знаете (при условии) значения x и бета.

Если вы хотите оценить бета-версии, вы хотите максимизировать вероятность: L (бета; y, x) = p (Y | x, бета) По сути, теперь вы смотрите на выражение p (Y | x, бета) как функция бета, но кроме этого, нет никакой разницы (для математически правильных выражений, которые вы можете правильно вывести, это необходимо - хотя на практике это никому не мешает).

Затем, в байесовских настройках, разница между параметрами и другими переменными вскоре исчезает, поэтому вы начали смешивать обе записи.

Итак, по сути: нет фактической разницы: они оба указывают на условное распределение вещи слева, условно на вещь (вещи) справа.

Ник Сабби
источник
23

- плотность случайной величины X в точке x , где θ является параметром распределения. f ( x , θ ) является совместной плотностью X и Θ в точке ( x , θ ) и имеет смысл, только если Θ случайная величина. f ( x | θ ) является условным распределением X, заданным Θ , и, опять же, имеет смысл, только еслиf(x;θ)Xxθf(x,θ)XΘ(x,θ)Θf(x|θ)XΘ случайная величина. Это станет намного понятнее, когда вы углубитесь в книгу и посмотрите на байесовский анализ.Θ

PeterR
источник
Uhhhh ... - условное распределение x для данного θ имеет смысл, даже если θ не является случайной величиной. Это довольно стандартное обозначение в классической статистике, где θ не случайная величина. f(x|θ)xθθθ
jbowman
Uhhhh .... если вы интерпретируете это, чтобы означать, что P [Θ = θ] = 1 (слева Θ случайная переменная, справа θ постоянная), то я согласен. Иначе я не ... для чего тогда будет означать P [Θ = θ] в знаменателе определения условного распределения?
PeterR
Знаменатель? Я могу написать где f - нормальное распределение без ссылки на правило Байеса. µ и σ фиксированы. Другие тоже, например, ll.mit.edu/mission/communications/ist/publications/… . xf(x|μ,σ)fμσ
jbowman
jbowman, так каково ваше определение f (x | μ, σ) как условной плотности, когда μ и σ являются фиксированными числами (т.е. не случайными величинами)?
PeterR
1
Слово «условный», связанное с обозначением f (X | Y), определено как «условное при наступлении некоторого случайного события». Если вы используете его для обозначения чего-то другого, такого как просто «данное», как в «f (x), заданные (конкретные значения) μ и σ», то это то, что обозначение f (x; μ, σ) это для. Поскольку ФП спрашивал о том, что означает нотация, мы должны быть точными в отношении нотации в ответе.
PeterR
18

f(x;θ) - это то же самое, чтоf(x|θ) , просто означает, чтоθ является фиксированным параметром, а функцияf является функцией отx . f(x,Θ) , OTOH, является элементом семейства (или набора) функций, где элементы индексируются с помощьюΘ . Тонкое различие, возможно, но важное, особенно когда приходит время оценить неизвестный параметрθ на основе известных данныхx ; в это времяθ меняется иxфиксируется, в результате чего «функция правдоподобия». Использование чаще встречается среди статистиков, в то время как ;среди математиков.

jbowman
источник
1
Как произносится в устной форме? Вы говорите "F х х θ"? f(x;θ)
stackoverflowuser2010
@ stackoverflowuser2010 - да, именно так.
jbowman
2
В некоторых видеороликах Coursera я обнаружил, что профессор Стэнфорда Эндрю Нг озвучивает точку с запятой как «параметризованную». См .: class.coursera.org/ml-005/lecture/34 . Таким образом, пример будет обозначаться как «f of x, параметризованный тэтой».
stackoverflowuser2010
5
Сказать «дано» или «условно» очень отличается (в общем) от «параметризованного». Я бы не хотел, если бы кто-то увидел это и подумал, что они эквивалентны. Сказать «параметризованный» уместно только тогда, когда определяемое количество является параметром, индексирующим pdf переменной в первом члене. Для двух переменных (например, f (x; y)) использование этого термина будет неправильным.
ATJ
2
@MikeWilliamson - Конечно, выберите запись, где вы знаете, что все значит, и придерживайтесь этого! Таким образом, когда вы возвращаетесь к тому, что вы делали ранее, например, 4 часа назад в моем опыте, вам не нужно выяснять, что вы имели в виду, когда использовали это «|». Я согласен, это раздражает, но через некоторое время вы просто наблюдаете первое использование записи и запоминаете ее до конца статьи / книги; различия, как правило, не главное, во всяком случае.
jbowman
9

Хотя так было не всегда, в наши дни обычно используется, когда d , w не являются случайными переменными (что вовсе не означает, что они известны, обязательно). P ( z | d , w ) указывает обусловленность на значения d , w . Обусловливание - это операция со случайными переменными, и использование этой записи, когда d , w не являются случайными переменными, сбивает с толку (и трагически распространено).P(z;d,w)d,wP(z|d,w)d,wd,w

Как указывает @Nick Sabbe, является общим обозначением для распределения выборки наблюдаемых данных y . Некоторые пользователи часто используют эту запись, но настаивают на том, что Θ не является случайной величиной, что является злоупотреблением IMO. Но у них там нет монополии; Я видел, что байесовцы тоже это делают, добавляя фиксированные гиперпараметры в конце условных выражений.p(y|X,Θ)yΘ

JMS
источник
2
Что касается вашего второго абзаца, то стоит указать, что в типичных статистических ситуациях (скажем, подгонка регрессионной модели) не считается случайной величиной, а представляет собой набор известных констант. X
gung - Восстановить Монику