Применение стохастического вариационного вывода к байесовской смеси Гаусса

Я пытаюсь реализовать модель гауссовой смеси со стохастическим вариационным выводом, следуя этой статье .

Это программа гауссовой смеси.

Согласно статье, полный алгоритм стохастического вариационного вывода:

И я все еще очень запутался в методе масштабирования до GMM.

Во-первых, я думал, что локальный вариационный параметр - это просто а все остальные - глобальные параметры. Пожалуйста, поправьте меня, если я был неправ. Что означает шаг 6 ? Что я должен сделать, чтобы достичь этого? $q_z$ as though Xi is replicated by N times

Не могли бы вы помочь мне с этим? Заранее спасибо!

machine-learning bayesian clustering gaussian-mixture variational-bayes user5779223
источник

Это говорит о том, что вместо использования всего набора данных выберите одну точку данных и представьте, что у вас есть точек данных одинакового размера. Во многих случаях это будет эквивалентно умножением ожидания с одной точкой данных по .

N

$N$

N

$N$

Daeyoung Lim

@DaeyoungLim Спасибо за ваш ответ! Теперь я понял, что вы имеете в виду, но я все еще не понимаю, какие статистические данные должны обновляться локально, а какие - глобально. Например, вот реализация смеси гауссов, не могли бы вы рассказать, как масштабировать ее до svi? Я немного потерян. Большое спасибо!

user5779223

Я не читал весь код, но если вы имеете дело с гауссовой моделью смеси, переменные индикатора компонента смеси должны быть локальными переменными, поскольку каждая из них связана только с одним наблюдением. Таким образом, латентные переменные компонента смеси, которые следуют распределению Мултиноулли (также известному как Категориальное распределение в ML), являются в вашем описании выше.

z_{i}, i = 1, \dots, N

$z_{i}, \; i=1,\ldots,N$

Daeyoung Lim

@DaeyoungLim Да, я понимаю, что вы сказали до сих пор. Таким образом, для вариационного распределения q (Z) q (\ pi, \ mu, \ lambda) q (Z) должна быть локальной переменной. Но есть много параметров, связанных с q (Z). С другой стороны, есть также много параметров, связанных с q (\ pi, \ mu, \ lambda). И я не знаю, как обновить их соответствующим образом.

user5779223

Вы должны использовать предположение о среднем поле, чтобы получить оптимальные вариационные распределения для вариационных параметров. Вот ссылка: maths.usyd.edu.au/u/jormerod/JTOpapers/Ormerod10.pdf

Daeyoung Lim

Ответы:

Этот учебник ( https://chrisdxie.files.wordpress.com/2016/06/in-depth-variational-inference-tutorial.pdf ) отвечает на большинство ваших вопросов, и, вероятно, будет легче понять, чем оригинальная статья SVI, как В нем подробно рассматриваются все детали реализации SVI (и координатного восхождения VI и выборки Гиббса) для гауссовой модели смеси (с известной дисперсией).

aleshing
источник

Сначала несколько замечаний, которые помогут мне разобраться в статье о SVI:

При вычислении промежуточного значения для вариационного параметра глобальных параметров мы выбираем одну точку данных и делаем вид, что весь наш набор данных размером был той единственной точкой, раз. $N$ $N$
$\eta_g$ - естественный параметр для полной условности глобальной переменной . Обозначения используются, чтобы подчеркнуть, что это функция условных переменных, в том числе наблюдаемых данных. $\beta$

В смеси гауссианов наши глобальные параметры - это параметры среднего и прецизионного (обратная дисперсия) параметров для каждого. То есть является естественным параметром для этого распределения, Normal-Gamma вида $k$ $\mu_k, \tau_k$ $\eta_g$

μ, τ \sim N (μ | γ, τ (2 α - 1) G a (τ | α, β)

$\mu, \tau \sim N(\mu|\gamma, \tau(2\alpha -1)Ga(\tau|\alpha, \beta)$

с , и . (Бернардо и Смит, Байесовская теория ; обратите внимание, что это немного отличается от четырехпараметрической нормальной гаммы, которую вы обычно видите .) Мы будем использовать для ссылки на вариационные параметры для $\eta_0 = 2\alpha - 1$ $\eta_1 = \gamma*(2\alpha -1)$ $\eta_2 = 2\beta+\gamma^2(2\alpha-1)$ $a, b, m$ $\alpha, \beta, \mu$

Полное условие - это нормальная гамма с параметрами , , , где является предыдущим. ( там также может сбивать с толку; имеет смысл начинать с трюка примененного к и заканчивая достаточным количеством алгебры, оставленной читателю.) $\mu_k, \tau_k$ $\dot\eta + \langle\sum_Nz_{n,k}$ $\sum_N z_{n,k}x_N$ $\sum_Nz_{n,k}x^2_{n}\rangle$ $\dot\eta$ $z_{n,k}$ $\exp\ln(p))$ $\prod_N p(x_n|z_n, \alpha, \beta, \gamma) = \prod_N\prod_K\big(p(x_n|\alpha_k,\beta_k,\gamma_k)\big)^{z_{n,k}}$

На этом мы можем выполнить шаг (5) псевдокода SVI с помощью:

ϕ_{n, k} \propto \exp (l n (π) + E_{q} \ln (p (x_{n} | α_{k}, β_{k}, γ_{k})) = \exp (\ln (π) + E_{q} [⟨ μ_{k} τ_{k}, \frac{- τ}{2} ⟩ \cdot ⟨ x, x^{2} ⟩ - \frac{μ^{2} τ - \ln τ}{2})]

$\phi_{n,k} \propto \exp (ln(\pi) + \mathbb E_q \ln(p(x_n|\alpha_k, \beta_k, \gamma_k))\\ =\exp(\ln(\pi) + \mathbb E_q \big[\langle \mu_k\tau_k, \frac{-\tau}{2} \rangle \cdot\langle x, x^2\rangle - \frac{\mu^2\tau - \ln \tau}{2})\big]$

Обновление глобальных параметров проще, поскольку каждый параметр соответствует количеству данных или одной из его достаточных статистических данных:

\hat{λ} = \dot{η} + N ϕ_{n} ⟨ 1, x, x^{2} ⟩

$\hat \lambda = \dot \eta + N\phi_n \langle 1, x, x^2 \rangle$

Вот как выглядит предельная вероятность данных на многих итерациях при обучении очень искусственным, легко разделяемым данным (код ниже). На первом графике показана вероятность с начальными, случайными вариационными параметрами и итерациями; каждый последующий - после следующей степени двух итераций. В коде ссылаются на вариационные параметры для . $0$ $a, b, m$ $\alpha, \beta, \mu$

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Sun Aug 12 12:49:15 2018

@author: SeanEaster
"""

import numpy as np
from matplotlib import pylab as plt
from scipy.stats import t
from scipy.special import digamma 

# These are priors for mu, alpha and beta

def calc_rho(t, delay=16,forgetting=1.):
    return np.power(t + delay, -forgetting)

m_prior, alpha_prior, beta_prior = 0., 1., 1.
eta_0 = 2 * alpha_prior - 1
eta_1 = m_prior * (2 * alpha_prior - 1)
eta_2 = 2 *  beta_prior + np.power(m_prior, 2.) * (2 * alpha_prior - 1)

k = 3

eta_shape = (k,3)
eta_prior = np.ones(eta_shape)
eta_prior[:,0] = eta_0
eta_prior[:,1] = eta_1
eta_prior[:,2] = eta_2

np.random.seed(123) 
size = 1000
dummy_data = np.concatenate((
        np.random.normal(-1., scale=.25, size=size),
        np.random.normal(0.,  scale=.25,size=size),
        np.random.normal(1., scale=.25, size=size)
        ))
N = len(dummy_data)
S = 1

# randomly init global params
alpha = np.random.gamma(3., scale=1./3., size=k)
m = np.random.normal(scale=1, size=k)
beta = np.random.gamma(3., scale=1./3., size=k)

eta = np.zeros(eta_shape)
eta[:,0] = 2 * alpha - 1
eta[:,1] = m * eta[:,0]
eta[:,2] = 2. * beta + np.power(m, 2.) * eta[:,0]


phi = np.random.dirichlet(np.ones(k) / k, size = dummy_data.shape[0])

nrows, ncols = 4, 5
total_plots = nrows * ncols
total_iters = np.power(2, total_plots - 1)
iter_idx = 0

x = np.linspace(dummy_data.min(), dummy_data.max(), num=200)

while iter_idx < total_iters:

    if np.log2(iter_idx + 1) % 1 == 0:

        alpha = 0.5 * (eta[:,0] + 1)
        beta = 0.5 * (eta[:,2] - np.power(eta[:,1], 2.) / eta[:,0])
        m = eta[:,1] / eta[:,0]
        idx = int(np.log2(iter_idx + 1)) + 1

        f = plt.subplot(nrows, ncols, idx)
        s = np.zeros(x.shape)
        for _ in range(k):
            y = t.pdf(x, alpha[_], m[_], 2 * beta[_] / (2 * alpha[_] - 1))
            s += y
            plt.plot(x, y)
        plt.plot(x, s)
        f.axes.get_xaxis().set_visible(False)
        f.axes.get_yaxis().set_visible(False)

    # randomly sample data point, update parameters
    interm_eta = np.zeros(eta_shape)
    for _ in range(S):
        datum = np.random.choice(dummy_data, 1)

        # mean params for ease of calculating expectations
        alpha = 0.5 * ( eta[:,0] + 1)
        beta = 0.5 * (eta[:,2] - np.power(eta[:,1], 2) / eta[:,0])
        m = eta[:,1] / eta[:,0]

        exp_mu = m
        exp_tau = alpha / beta 
        exp_tau_m_sq = 1. / (2 * alpha - 1) + np.power(m, 2.) * alpha / beta
        exp_log_tau = digamma(alpha) - np.log(beta)


        like_term = datum * (exp_mu * exp_tau) - np.power(datum, 2.) * exp_tau / 2 \
            - (0.5 * exp_tau_m_sq - 0.5 * exp_log_tau)
        log_phi = np.log(1. / k) + like_term
        phi = np.exp(log_phi)
        phi = phi / phi.sum()

        interm_eta[:, 0] += phi
        interm_eta[:, 1] += phi * datum
        interm_eta[:, 2] += phi * np.power(datum, 2.)

    interm_eta = interm_eta * N / S
    interm_eta += eta_prior

    rho = calc_rho(iter_idx + 1)

    eta = (1 - rho) * eta + rho * interm_eta

    iter_idx += 1

Шон Пасха
источник