В чем разница между терминами «функция связи» и «функция канонического соединения»? Кроме того, есть ли (теоретические) преимущества использования одного над другим?
Например, двоичная переменная ответа может быть смоделирована с использованием многих функций связи, таких как logit , probit и т. Д. Но логит здесь считается «канонической» функцией связи.
logistic
generalized-linear-model
link-function
steadyfish
источник
источник
Ответы:
Приведенные выше ответы более интуитивны, поэтому я стараюсь быть более строгими.
Что такое GLM?
Пусть обозначает набор ответа и мерного ковариатного вектора с ожидаемым значением . Для независимых наблюдений распределение каждого представляет собой экспоненциальное семейство с плотностью Здесь интересующий параметр (естественный или канонический параметр) равен , - параметр масштаба (известный или воспринимаемый как неприятность), а и - известные функции.Y=(y,x) y p x=(x1,…,xp) E(y)=μ i=1,…,n yi
Функция называется функцией связи. Если функция соединяет , и , что , то эта ссылка называется канонической и имеет вид .g(⋅) μ η θ η≡θ g=(γ′)−1
Вот и все. Тогда есть ряд желательных статистических свойств использования канонической ссылки, например, достаточной статистикой является с компонентами для , метод Ньютона и оценка Фишера для обнаружив, что оценщик ML совпадают, эти ссылки упрощают вывод MLE, они гарантируют, что некоторые свойства линейной регрессии (например, сумма остатков равна 0), сохраняются или они гарантируют, что остается в диапазоне выходной переменной ,X′y ∑ixijyi j=1,…,p μ
Следовательно, они, как правило, используются по умолчанию. Однако обратите внимание, что нет априорной причины, по которой эффекты в модели должны быть аддитивными в масштабе, указанном этой или любой другой ссылкой.
источник
Гунг привел хорошее объяснение: каноническая ссылка обладает особыми теоретическими свойствами минимальной достаточности. Это означает, что вы можете определить условную логит-модель (которую экономисты называют моделью с фиксированным эффектом), обусловливая количество результатов, но вы не можете определить условную пробитную модель, потому что нет достаточной статистики для использования с пробитной связью.
источник
Вот небольшая диаграмма, вдохновленная классом MIT 18.650, который я считаю весьма полезным, поскольку он помогает визуализировать отношения между этими функциями. Я использовал ту же запись, что и в посте @ momo:
Таким образом, функция связи связывает линейный предиктор со средним значением и должна быть монотонно возрастающей, непрерывно дифференцируемой и обратимой.g
Диаграмма позволяет легко переходить из одного направления в другое, например:
Каноническая функция связи
Другой способ понять, что Момо строго описал, состоит в том, что, когда - каноническая функция связи, то композиция композиции это тождество и поэтому мы получаемg
источник
Ответы выше уже охватили то, что я хочу сказать. Просто чтобы прояснить несколько моментов как исследователь машинного обучения:
Функция Link является ничем иным, как обратной функцией активации. Например, logit - это обратная сигмоида, а probit - обратная кумулятивная функция распределения Гаусса.
Если мы возьмем параметр обобщенной линейной модели только в зависимости от , где является вектором веса, а является входным параметром, то функция связи называется канонической.wTx w x
Вышеприведенное обсуждение не имеет ничего общего с экспоненциальным семейством, но хорошее обсуждение можно найти в PRML-книге Кристофера Бишопа, глава 4.3.6.
источник