Какова связь между бета-распределением и моделью логистической регрессии?

16

Мой вопрос: какова математическая связь между распределением Бета и коэффициентами модели логистической регрессии ?

Для иллюстрации: логистическая (сигмоидальная) функция задается

f(x)=11+exp(x)

и он используется для моделирования вероятностей в модели логистической регрессии. Пусть A - дихотомический (0,1) результат, а X - матрица дизайна. Модель логистической регрессии задается

P(A=1|X)=f(Xβ).

Примечание X имеет первый столбец с постоянной 1 (точка пересечения), а β - вектор столбцов коэффициентов регрессии. Например, когда у нас есть один (стандартный-нормальный) регрессор x и мы выбираем β0=1 (перехват) и β1=1 , мы можем смоделировать результирующее «распределение вероятностей».

Гистограмма P (A = 1 | X)

Этот график напоминает распределение бета (как и графики для других вариантов β ), плотность которого определяется как

g(y;p,q)=Γ(p)Γ(q)Γ(p+q)y(p1)(1y)(q1).

Используя максимальное правдоподобие или методы моментов, можно оценить и q из распределения P ( A = 1 | X ) . Таким образом, мой вопрос сводится к следующему: какова связь между выбором β и p и q ? Это, во-первых, касается двумерного случая, приведенного выше.pqP(A=1|X)βpq

Томка
источник
Мне просто интересно это 3 часа назад в моем классе байесовской статистики
Алхимик

Ответы:

16

Бета - это распределение значений в диапазоне , очень гибкое по своей форме, поэтому практически для любого унимодального эмпирического распределения значений в ( 0 , 1 ) можно легко найти параметры такого бета-распределения, которое «напоминает» форму распределения.(0,1)(0,1)

Обратите внимание, что логистическая регрессия предоставляет вам условные вероятности , в то время как на вашем графике вы представляете нам предельное распределение прогнозируемых вероятностей. Это две разные вещи для разговора.Pr(Y=1X)

Не существует прямой связи между параметрами логистической регрессии и параметрами бета-распределения при рассмотрении распределения прогнозов из модели логистической регрессии. Ниже вы можете увидеть данные, смоделированные с использованием нормального, экспоненциального и равномерного распределения, преобразованного с использованием логистической функции. Помимо использования точно таких же параметров логистической регрессии (то есть ), распределения прогнозируемых вероятностей очень разные. Таким образом, распределение предсказанных вероятностей зависит не только от параметров логистической регрессии, но также от распределений X , и между ними нет простой связи.β0=0,β1=1X

Логистическая функция данных, моделируемых при нормальном, экспоненциальном и равномерном распределении

Поскольку бета является распределением значений в , то ее нельзя использовать для моделирования двоичных данных, как это делает логистическая регрессия. Он может быть использован для моделирования вероятностей , таким образом, мы используем бета-регрессию (см. Также здесь и здесь ). Поэтому, если вас интересует, как ведут себя вероятности (понимаемые как случайные величины), вы можете использовать бета-регрессию для этой цели.(0,1)

Тим
источник
Так что, если Бета может аппроксимировать любое такое распределение, не должно ли быть отношение между его параметрами и ? β
Томка
4
@tomka, но распределение зависит от распределения ваших данных и от параметров, поэтому даже если такие отношения существуют, они очень сложные. Очевидно, что нет прямой связи между параметрами регрессии и параметрами бета-распределения. Попробуйте моделирования логистических прогнозов регрессии в соответствии с теми же параметрами , используя различные распределения для , маргинальное распределение будет отличаться в каждом конкретном случае. X
Тим
4
Бета-дистрибутив не настолько гибок - он не может аппроксимировать мультимодальные дистрибутивы.
Маркус П.С.
@MarcusPS Я сделал это более ясно.
Тим
1
@MarcusPS за исключением особого случая мультимодальных распределений с модами в 0 и 1 ...
Бен Болкер
4

Логистическая регрессия является частным случаем Обобщенной Линейной Модели (GLM). В этом конкретном случае двоичных данных логистическая функция является канонической функцией связи, которая превращает имеющуюся нелинейную регрессионную задачу в линейную задачу. GLM являются в некоторой степени особыми в том смысле, что они применимы только к распределениям в семействе экспонент (таких как биномиальное распределение).

В байесовской оценке бета-распределение является сопряженным до биномиального распределения, что означает, что байесовское обновление до бета-версии, с биномиальными наблюдениями, приведет к бета-апостериорному. Таким образом, если у вас есть счетчики для наблюдений бинарных данных, вы можете получить аналитическую байесовскую оценку параметров биномиального распределения, используя предварительную бета-версию.

Таким образом, в соответствии с тем, что было сказано другими, я не думаю, что существует прямая связь, но как бета-распределение, так и логистическая регрессия тесно связаны с оценкой параметров чего-то, что следует за биномиальным распределением.

Маркус П.С.
источник
1
Я уже добавил +1 для упоминания байесовской перспективы, но обратите внимание, что в случае регрессионной модели мы не используем бета-биномиальную модель, а бета-распределение в целом не используется в качестве приоритета для параметров - по крайней мере, в случае типичной байесовской логистики регресс . Так что это напрямую не переводится в бета-биномиальную модель.
Тим
3

Может быть, нет прямой связи? Распределение в значительной степени зависит от вашего моделирования X . Если вы смоделировали X с N ( 0 , 1 ) , exp ( - X β ) будет иметь логнормальное распределение с μ = - 1, учитывая β 0 = β 1 = 1 . Распределение P ( A = 1 | XP(A=1|X)XXN(0,1)exp(Xβ)μ=1β0=β1=1 тогда можно найти явно: при cdf F ( x ) = 1 - Φ [ ln ( 1P(A=1|X)обратный cdfQ(x)=1

F(x)=1Φ[ln(1x1)+1],
и PDFе(х)=1
Q(x)=11+exp(Φ1(1x)1),
которые не похожи на те из бета-распределения.
f(x)=1x(1x)2πexp((ln(1/x1)+1)22),

Вы можете проверить результаты, приведенные выше в R :

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

введите описание изображения здесь

Фрэнсис
источник
xf(x)[inf,inf]P(A|X)[0,1]f(x)P(A|X)
1/x1>0x(0,1)f
X
@whuber: похоже, я что-то ошибся, я удалил эту часть.
Фрэнсис