Имеет ли логарифмическая вероятность в GLM гарантированную сходимость к глобальным максимумам?

Мои вопросы:

Обязательно ли обобщенные линейные модели (GLM) сходятся к глобальному максимуму? Если так, то почему?
Кроме того, какие ограничения существуют для функции связи для обеспечения выпуклости?

Мое понимание GLM состоит в том, что они максимизируют крайне нелинейную функцию правдоподобия. Таким образом, я бы предположил, что существует несколько локальных максимумов, и набор параметров, к которому вы сходитесь, зависит от начальных условий для алгоритма оптимизации. Однако после некоторых исследований я не нашел ни одного источника, который бы указывал на наличие нескольких локальных максимумов. Кроме того, я не очень знаком с методами оптимизации, но я знаю, что метод Ньютона-Рафсона и алгоритм IRLS очень склонны к локальным максимумам.

Пожалуйста, объясните, если это возможно, как на интуитивной, так и на математической основе!

РЕДАКТИРОВАТЬ: dksahuji ответил на мой первоначальный вопрос, но я хочу добавить следующий вопрос [ 2 ] выше. («Какие ограничения существуют в функции связи для обеспечения выпуклости?»)

generalized-linear-model optimization convergence exponential-family DankMasterDan
источник

Я думаю, что некоторые ограничения должны быть необходимы, прежде чем это может быть так. Что является источником для заявления?

Glen_b

Несколько сайтов, казалось, подразумевали это, однако я не мог найти ничего, что упомянуло бы это прямо, поэтому я также приветствую его опровержение!

DankMasterDan

до тех пор, пока вероятность хорошо определена повсюду в области (и игнорируя некоторые тангенциальные числовые проблемы), я думаю, что да. При этих условиях гессиан <0 везде в области, поэтому вероятность в целом вогнута. Кстати, функция не является «сильно нелинейной» по параметрам, и это важно.

user603

@ user603 каков твой источник / доказательство того, что гессиан <0 везде?

DankMasterDan

Логистическая, пуассоновская и гауссовская регрессии часто выпуклые при «хорошей» функции связи. Однако при произвольной функции связи они не являются выпуклыми.

Memming

Ответы:

Определение экспоненциальной семьи:

п (Икс | θ) знак равно час (Икс) ехр (θ^{T} φ (Икс) - A (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

$A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

$A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

$\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$

Существует обобщенная версия, называемая изогнутым экспоненциальным семейством, которая также будет аналогичной. Но большинство доказательств в канонической форме.

dksahuji
источник

Значит ли это, что у GLM есть уникальный глобальный минимум-номатер, какая функция связи выбрана (включая неканонические)?

DankMasterDan

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$

η

$\eta$

θ

$\theta$

η

$\eta$

θ

$\theta$

Обратите внимание, что вопрос касается скорее конвергенции, чем просто существования, но с некоторыми ограничениями, что тоже может быть выполнимо.

Glen_b

@Glen_b Можете ли вы уточнить? Я не знаю таких ограничений. Может быть, что-то вроде ограничения на размер шага в оптимизаторе, основанном на градиенте, чтобы гарантировать сходимость в случае вогнутой функции.

dksahuji

@Glen_b Это может быть правдой в целом, но я не вижу никакой причины, чтобы вогнутая функция не сходилась к оптимуму в пределах небольшого допустимого значения. Но я бы сказал, что у меня нет никакого практического опыта с этим, и я только начал. :)

dksahuji