Байесовская регрессия: как это делается по сравнению со стандартной регрессией?

У меня есть несколько вопросов о байесовской регрессии:

Дана стандартная регрессия при . Если я хочу изменить это в байесовскую регрессию, нужно ли мне предварительные распределения для и (или это не работает таким образом)? $y = \beta_0 + \beta_1 x + \varepsilon$ $\beta_0$ $\beta_1$
В стандартной регрессии можно попытаться минимизировать невязки, чтобы получить единичные значения для и . Как это делается в байесовской регрессии? $\beta_0$ $\beta_1$

Я действительно много борюсь здесь:

posterior = prior \times likelihood

$\text{posterior} = \text{prior} \times \text{likelihood}$

Вероятность исходит из текущего набора данных (так что это мой параметр регрессии, но не как одно значение, а как распределение вероятностей, верно?). Приор происходит из предыдущего исследования (скажем). Итак, я получил это уравнение:

y = β_{1} x + ε

$y = \beta_1 x + \varepsilon$

с - моя вероятность или апостериор (или это просто неправильно)? $\beta_1$

Я просто не могу понять, как стандартная регрессия превращается в байесовскую.

regression bayesian TinglTanglBob
источник

Ответы:

Простая модель линейной регрессии

y_{i} = α + β x_{i} + ε

$y_i = \alpha + \beta x_i + \varepsilon$

может быть написано с точки зрения вероятностной модели позади него

μ_{i} = α + β x_{i} y_{i} \sim N (μ_{i}, σ)

$\mu_i = \alpha + \beta x_i \\ y_i \sim \mathcal{N}(\mu_i, \sigma)$

то есть зависимая переменная следует нормальному распределению, параметризованному средним , то есть линейной функции параметризованной и стандартным отклонением . Если вы оцениваете такую модель, используя обычные наименьшие квадраты , вам не нужно беспокоиться о вероятностной формулировке, потому что вы ищете оптимальные значения параметров , сводя к минимуму возведенные в квадрат ошибки согласованных значений до прогнозируемых значений. С другой стороны, вы могли бы оценить такую модель, используя оценку максимального правдоподобия $Y$ $\mu_i$ $X$ $\alpha,\beta$ $\sigma$ $\alpha,\beta$ где вы будете искать оптимальные значения параметров путем максимизации функции правдоподобия

\underset{α, β, σ}{a r g m a x} \prod_{i = 1}^{n} N (y_{i}; α + β x_{i}, σ)

$\DeclareMathOperator*{\argmax}{arg\,max} \argmax_{\alpha,\,\beta,\,\sigma} \prod_{i=1}^n \mathcal{N}(y_i; \alpha + \beta x_i, \sigma)$

$\mathcal{N}$ $y_i$ $\alpha + \beta x_i$ $\sigma$

В байесовском подходе вместо максимизации только функции правдоподобия мы принимаем предварительные распределения для параметров и используем теорему Байеса.

posterior \propto likelihood \times prior

$\text{posterior} \propto \text{likelihood} \times \text{prior}$

$\alpha,\beta,\sigma$

\underset{posterior}{\underset{⏟}{f (α, β, σ ∣ Y, X)}} \propto \underset{likelihood}{\underset{⏟}{\prod_{i = 1}^{n} N (y_{i} ∣ α + β x_{i}, σ)}} \underset{priors}{\underset{⏟}{f_{α} (α) f_{β} (β) f_{σ} (σ)}}

$\underbrace{f(\alpha,\beta,\sigma\mid Y,X)}_{\text{posterior}} \propto \underbrace{\prod_{i=1}^n \mathcal{N}(y_i\mid \alpha + \beta x_i, \sigma)}_{\text{likelihood}} \; \underbrace{f_{\alpha}(\alpha) \, f_{\beta}(\beta) \, f_{\sigma}(\sigma)}_{\text{priors}}$

$\alpha,\beta$ $t$ $\sigma$

(источник: http://www.indiana.edu/~kruschke/BMLR/ )

В то время как с максимальной вероятностью вы искали одно оптимальное значение для каждого из параметров, в байесовском подходе, применяя теорему Байеса, вы получаете апостериорное распределение параметров. Окончательная оценка будет зависеть от информации, полученной из ваших данных и ваших априоров , но чем больше информации содержится в ваших данных, тем менее влиятельными являются априоры .

$f(\theta) \propto 1$

Для оценки модели в байесовском подходе в некоторых случаях вы можете использовать сопряженные априорные значения , поэтому апостериорное распределение непосредственно доступно (см. Пример здесь ). Однако в подавляющем большинстве случаев апостериорное распределение не будет доступно напрямую, и вам придется использовать методы Марковской цепи Монте-Карло для оценки модели (см. Этот пример использования алгоритма Метрополиса-Гастингса для оценки параметров линейной регрессии). Наконец, если вас интересуют только точечные оценки параметров, вы можете использовать максимально апостериорную оценку , т.е.

\underset{α, β, σ}{a r g m a x} f (α, β, σ ∣ Y, X)

$\argmax_{\alpha,\,\beta,\,\sigma} f(\alpha,\beta,\sigma\mid Y,X)$

Для более подробного описания логистической регрессии вы можете проверить байесовскую модель логита - интуитивное объяснение? нить.

Для получения дополнительной информации вы можете проверить следующие книги:

Kruschke, J. (2014). Выполнение байесовского анализа данных: учебное пособие с использованием R, JAGS и Stan. Академическая пресса.

Гельман А., Карлин Дж. Б., Стерн Х.С. и Рубин Д.Б. (2004). Байесовский анализ данных. Чепмен и Холл / CRC.

Тим
источник

$\beta_i$ $\beta_i$

+1. Еще одна вещь, на которую стоит обратить внимание, чтобы прояснить связь между байесовским и OLS-подходами, состоит в том, что OLS можно понимать как апостериорное среднее под плоским априором (по крайней мере, насколько я понимаю). Было бы здорово, если бы вы немного уточнили это в своем ответе.

говорит амеба: восстанови Монику

@amoeba, это хороший момент, я подумаю об этом. Но с другой стороны, я не хочу, чтобы ответ был слишком длинным, поэтому есть смысл вдаваться в детали.

Тим

@amoeba FYI, я добавил краткий комментарий по этому поводу.

Тим

$D = (x_1,y_1), \ldots, (x_N,y_N)$ $x \in \mathbb{R}^d, y \in \mathbb{R}$

w \sim N (0, σ_{w}^{2} I_{d})

$w \sim \mathcal{N}(0, \sigma_w^2 I_d)$

$w$ $(w_1, \ldots, w_d)^T$ $I_d$ $d\times d$

Y_{i} \sim N (w^{T} x_{i}, σ^{2})

$Y_i \sim \mathcal{N}(w^T x_i, \sigma^2)$

$Y_i \perp Y_j | w, i \neq j$

$a = 1/\sigma^2$ $b = 1/\sigma_w^2$ $a,b$

p (w) \propto \exp {- \frac{b}{2} w^{t} w}

$p(w) \propto \exp \Big\{ -\frac{b}{2} w^t w \Big\}$

p (D | w) \propto \exp {- \frac{a}{2} (y - A w)^{T} (y - A w)}

$p(D|w) \propto \exp \Big\{ -\frac{a}{2} (y-Aw)^T (y-Aw) \Big\}$

$y = (y_1,\ldots,y_N)^T$ $A$ $n\times d$ $x_i^T$

p (w | D) \propto p (D | w) p (w)

$p(w|D) \propto p(D|w) p(w)$

После многих расчетов мы обнаруживаем, что

p (w | D) \sim N (w | μ, Λ^{- 1})

$p(w|D) \sim \mathcal{N}(w | \mu, \Lambda^{-1})$

$\Lambda$

Λ = a A^{T} A + b I_{d}

$\Lambda = a A^T A + b I_d$

μ = a Λ^{- 1} A^{T} y

$\mu = a \Lambda^{-1} A^T y$

$\mu$ $w_{MAP}$

$\mu$ $\Lambda = aA^TA+bI_d$

μ = (A^{T} A + \frac{b}{a} I_{d})^{- 1} A^{T} y

$\mu = (A^T A + \frac{b}{a} I_d)^{-1} A^T y$

$w_{MLE}$

w_{M L E} = (A^{T} A)^{- 1} A^{T} y

$w_{MLE} = (A^T A)^{-1} A^T y$

$\mu$ $\lambda = \frac{b}{a}$

Для прогнозирующего апостериорного распределения:

p (y | x, D) = \int p (y | x, D, w) p (w | x, D) d w = \int p (y | x, w) p (w | D) d w

можно рассчитать, что

y | x, D \sim N (μ^{T} x, \frac{1}{a} + x^{T} Λ^{- 1} x)

$y|x,D \sim \mathcal{N}(\mu^Tx, \frac{1}{a} + x^T \Lambda^{-1}x)$

Ссылка: Lunn et al. Книга ЖУКОВ

Для использования инструмента MCMC, такого как JAGS / Stan, проверьте анализ данных Крушке « Байесовский анализ данных»

jpneto
источник

Спасибо, jpneto. Я чувствую, что это отличный ответ, но я пока не понимаю его из-за недостатка знаний по математике. Но я обязательно прочту это снова после получения некоторых математических навыков

TinglTanglBob

Это очень хорошо, но предположение, что точность известна, немного необычно. Разве не более распространено предположение, что для дисперсии используется обратное гамма-распределение, т. Е. Гамма-распределение для точности?

DeltaIV

w

$w$

w \sim N (0, λ^{- 1} I_{d})

$w \sim N(0,\lambda^{-1} I_d)$

λ

$\lambda$

@DeltaIV: конечно, когда у нас есть неопределенность в отношении параметра, мы можем смоделировать его с помощью априора. Предположение об известной точности состоит в том, чтобы упростить поиск аналитического решения. Обычно эти аналитические решения не возможны, и мы должны использовать приближения, такие как MCMC или некоторый вариационный метод.

января