Пример для априора, который в отличие от Джеффриса приводит к апостериорному, который не является инвариантным

17

Я публикую «ответ» на вопрос, который я задал здесь две недели назад: почему полезен Джефрис? Это действительно был вопрос (и я тоже не имел права публиковать комментарии в то время), поэтому я надеюсь, что это нормально:

В приведенной выше ссылке обсуждается, что интересная особенность априорной теории Джеффриса состоит в том, что при повторной параметризации модели результирующее апостериорное распределение дает апостериорные вероятности, которые подчиняются ограничениям, налагаемым преобразованием. Скажем, как описано там, при переходе от вероятности успеха & θ в примере бета-Бернулли шансов ψ=θ/(1θ) , это должно быть так , что задняя удовлетворяет условию P(1/3θ2/3X=x)=P(1/2ψ2X=x) .

Я хотел создать числовой пример инвариантности Джеффриса для преобразования θ в шансы ψ и, что более интересно, отсутствие других априорных значений (скажем, Haldane, одинаковых или произвольных).

Теперь, если апостериор для вероятности успеха - бета (для любой предыдущей беты, а не только для Джеффриса), апостериор шансов следует бета-распределению второго рода (см. Википедия) с теми же параметрами . Затем, как показано в приведенном ниже числовом примере, неудивительно (по крайней мере для меня), что существует инвариантность для любого выбора бета-версии (игра с alpha0_Uи beta0_U), а не только для Джеффриса, ср. вывод программы.

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

Это подводит меня к следующим вопросам:

  1. Я делаю ошибку?
  2. Если нет, то есть ли такой результат, как отсутствие недостатка инвариантности в сопряженных семьях или что-то в этом роде? (Быстрая проверка заставляет меня заподозрить, что я, например, не смог бы обеспечить отсутствие инвариантности в нормальном нормальном случае.)
  3. Вы знаете (предпочтительно простой) пример , в котором мы сделать получаем отсутствие инвариантности?
Кристоф Ханк
источник
1
Вам не нужен код R (который я не могу запустить с версией R 3.0.2) для проверки инвариантности, поскольку это свойство вероятности. Под предыдущей инвариантностью подразумевается построение правила выбора предварительного, которое не зависит от выбора параметризации модели выборки.
Сиань
1
Прошу прощения за доставленное неудобство. Он работает с R 3.1.2 на моем компьютере. Если я могу продолжить, подразумевает ли ваш комментарий, что я неправильно понял комментарий Дзен относительно принятого ответа, пункт 1, Стефана Лорана о том, Почему полезны предыдущие Джеффри? ?
Кристоф Ханк,

Ответы:

19

Ваши вычисления, кажется, подтверждают, что, когда у нас есть конкретное предварительное распределение следующие две процедурыp(θ)

  1. Вычислить апостериорное pθD(θD)
  2. Преобразуйте вышеупомянутый апостериор в другую параметризацию, чтобы получить pψD(ψD)

и

  1. pθ(θ)pψ(ψ)
  2. pψ(ψ)pψD(ψD)

ψψθ

Однако дело не в этой инвариантности. Вместо этого вопрос заключается в том, будут ли следующие две процедуры, когда у нас есть конкретный метод для решения предшествующего вопроса:

  1. pθ(θ)
  2. pψ(ψ)

и

  1. pψ(ψ)

ψ

θ[0,1]ψ[0,)

θψψ

Юхо Коккала
источник
1

Похоже, вы проверяете, что на вероятность, вызванную данными, не влияет параметризация, которая не имеет ничего общего с предыдущей.

Если вы выбираете приоры следующим образом, например, «выберите единый априор», то то, что является однородным при одной параметризации (скажем, бета, то есть бета (1,1)), не является равномерным при другой, скажем, BetaPrime (1,1 ) (что искажено) - это BetaPrime (1, -1) является однородным, если такая вещь существует.

Приоритет Джеффриса - единственный «способ выбрать приоры», который инвариантен при репараметризации. Так что это менее предположительно, чем любой другой способ выбора приоры.

Нил Г
источник
Я не думаю, что приор Джеффриса является единственным инвариантом приора. Когда они отличаются, левая и правая меры Хаара являются инвариантными.
Сиань
@Neil G, я не уверен, что могу следовать твоим рассуждениям, что я смотрю только на вероятность. При подключении (например) alpha1_Jк pbetaи pgb2этот параметр определяется как предыдущим параметром ( alpha1_J), так и данными ( k), аналогично для всех других параметров.
Кристоф Ханк
1
(+1) Можно надеяться, что выявление субъективных априорных значений будет также параметризованно-инвариантным.
Scortchi - Восстановить Монику
1
@Zen: да, действительно, я был слишком поспешен: меры Хаара - неправильный пример. Тем не менее, я удивляюсь, почему Джеффрис является единственным инвариантом до ...
Сиань
2
@ Сиань: если моя память не подведет меня, есть книга «Теорема в Ценкове» ( amazon.com/… ), которая в некотором смысле (?) Доказывает, что Джеффрис Приор - единственный парень в городе с необходимая инвариантность. Его доказательство недоступно для меня. Он использует язык теории категорий, функторы, морфизмы и все такое. en.wikipedia.org/wiki/Category_theory
Zen