Когда использовать GAM против GLM

15

Я понимаю, что это может быть потенциально широкий вопрос, но мне было интересно, существуют ли обобщенные предположения, которые указывают на использование GAM (Обобщенная аддитивная модель) над GLM (Обобщенная линейная модель)?

Кто-то недавно сказал мне, что GAM следует использовать только тогда, когда я предполагаю, что структура данных является «аддитивной», то есть я ожидаю, что добавления x предсказывают y. Другой человек указал, что GAM выполняет регрессионный анализ другого типа, чем GLM, и что GLM предпочтительнее, когда можно предположить линейность.

В прошлом я использовал GAM для экологических данных, например:

  • непрерывная серия
  • когда данные не имели линейной формы
  • У меня было многократное x, чтобы предсказать, что у меня было некоторое нелинейное взаимодействие, которое я мог визуализировать, используя «графики поверхности» вместе со статистическим тестом.

Я, очевидно, не очень хорошо понимаю, что GAM делает иначе, чем GLM. Я считаю, что это действительный статистический тест (и я вижу увеличение использования GAM, по крайней мере, в экологических журналах), но мне нужно лучше знать, когда его использование указано в других регрессионных анализах.

mluerig
источник
GAM используются, когда линейный предиктор линейно зависит от неизвестных гладких функций некоторых переменных предиктора.
user2974951
1
Различие размыто, поскольку вы можете представлять числовые переменные, например, сплайном также в GLM.
Майкл М
3
Несмотря на то, что различие размыто, гам может представлять взаимодействия также в том же духе, так как строгая аддитивность glm не нужна, но большая разница в выводе: игрокам нужны специальные методы, так как оценка выполняется не посредством проекции, а с помощью сглаживания. Что это означает на практике, я не понимаю.
kjetil b halvorsen
GLM GAM.
usεr11852

Ответы:

14

Основное отличие imho заключается в том, что хотя «классические» формы линейных или обобщенно-линейных моделей принимают фиксированную линейную или некоторую другую параметрическую форму отношения между зависимой переменной и ковариатами, GAM априори не принимает какой-либо конкретной формы этого отношения, и могут быть использованы для выявления и оценки нелинейных эффектов ковариаты на зависимую переменную. Более подробно, в то время как в (обобщенных) линейных моделей линейный предсказатель является взвешенной суммой N ковариатами, Σязнак равно1NβяИкся , в Gams этот термин заменяется на сумму гладкой функции, например , Σязнак равно1NΣJзнак равно1QβяsJ(Икся) , гдеs1(),...,sQ() - гладкие базисные функции (например, кубические сплайны) иQявляется базовым измерением. Комбинируя базовые функции, GAM могут представлять большое количество функциональных отношений (для этого они полагаются на предположение, что истинные отношения, скорее всего, будут гладкими, а не волнистыми). По сути, они являются продолжением GLM, однако они разработаны таким образом, чтобы сделать их особенно полезными для выявления нелинейных эффектов числовых ковариат, а также для «автоматического» подхода (из оригинальной статьи Хасти и Тибширани они имеют « преимущество того, чтобы быть полностью автоматическим, то есть никакой «детективной» работы не требуется со стороны статистики » ).

Matteo
источник
2
Хорошо, но, как сказано в комментариях, все это можно сделать и с помощью GLM ... Я подозреваю, что главное отличие - прагматичное. Реализация R mgcvделает много вещей, с которыми вы не можете ничего сделать glm, но могли бы быть выполнены и в этих рамках ...
kjetil b halvorsen
Да, я согласен с вами, GAM являются продолжением GLM. Однако вопрос был о том, когда использовать GAM, а когда использовать GLM, и мне казалось, что операция подразумевает «классические» формы GLM, которые обычно не включают набор базисных функций в качестве предикторов и не используются для выявления / приблизительные неизвестные нелинейные отношения.
Маттео
спасибо - это полезно и да, я говорил о классических GLMs
mluerig
@ matteo еще две вещи: i) что именно вы подразумеваете под "истинными отношениями, скорее всего, будут гладкими, а не волнистыми"? и ii) «особенно полезно для выявления нелинейных эффектов числовых ковариат» - как можно описать / количественно оценить нелинейность (например, с помощью mgcv)?
mluerig
Истинные отношения могут на самом деле не быть гладкими, однако GAM обычно контролируют сложность модели, добавляя штраф за «волнистость» в процессе максимизации правдоподобия (обычно реализуется как пропорция интегрированного квадрата второй производной оценочной функции). Нелинейное воздействие числовых ковариат означает, что влияние конкретной числовой переменной на зависимую переменную может, например, не увеличиваться / уменьшаться монотонно со значением переменной, но иметь неизвестную форму, например, с локальными максимумами, минимумами, точками перегиба. ..
matteo
13

Я бы подчеркнул, что GAM гораздо более гибкие, чем GLM, и, следовательно, нуждаются в большей осторожности при их использовании. С большей силой приходит большая ответственность.

Вы упомянули об их использовании в экологии, что я тоже заметил. Я был в Коста-Рике и увидел какое-то исследование в тропическом лесу, где некоторые аспиранты бросили некоторые данные в GAM и приняли его сумасшедшие сложные сглаживатели, потому что программное обеспечение сообщило об этом. Это было довольно удручающе, за исключением юмористического / замечательного факта, что они строго включили сноску, которая документировала тот факт, что они использовали GAM и сглаживатели высшего порядка, которые в результате.

Вам не нужно точно понимать, как работают GAM, чтобы их использовать, но вам действительно нужно подумать о ваших данных, о проблеме, о которой вы говорите, об автоматизированном выборе вашей программой параметров, таких как более плавные заказы, ваш выбор (что вы сглаживаете, взаимодействия, если сглаживание оправдано и т. д.), и правдоподобие ваших результатов.

Делайте много графиков и смотрите на свои кривые сглаживания. Они сходят с ума в областях с небольшим количеством данных? Что происходит, когда вы указываете сглаживание низкого порядка или полностью удаляете сглаживание? Является ли степень 7 более гладкой для этой переменной, является ли она переобучающей, несмотря на заверения в том, что она перекрестно проверяет свой выбор? Достаточно ли у вас данных? Это качественно или шумно?

Мне нравится GAMS, и я думаю, что их недооценивают для исследования данных. Они просто супер-гибки, и если вы позволите себе заниматься наукой без строгости, они уведут вас дальше в статистическую пустыню, чем более простые модели, такие как GLM.

Wayne
источник
Я представляю, что чаще всего делаю то, что делали эти аспиранты: бросаю свои данные в игру и поражаюсь тому, насколько хорошо они mgcvобрабатывают мои данные. Я пытаюсь быть экономным с моими параметрами, и я проверяю, насколько хорошо предсказанные значения соответствуют моим данным. Ваши комментарии являются хорошим напоминанием о том, чтобы быть немного более строгим - и, возможно, наконец, получить книгу Саймон Вудс!
mluerig
Черт возьми, я зайду так далеко, что использую сглаживатель для исследования переменной, а затем либо исправлю степени свободы на низком значении, либо исключу сглаживание и использую, скажем, квадратное слагаемое, если сглаживатель был в основном квадратичным. Например, квадратичный имеет смысл для эффекта возраста.
Уэйн
@ Уэйн, я пришел сюда именно для того, чтобы получить ответ на исследование данных в отношении GAM, и увидел, что вы на это указали. Как вы используете GAM для исследования данных? И как вы решите, нужен ли GAM или достаточно GLM? Имеет ли смысл просто запускать простую GAM, в которой вы запускаете ответ и каждый из потенциальных предикторов по очереди, составляет график и смотрите, гарантирует ли отношение GAM (то есть нелинейное и немонотонное отношение)?
Тилен
6

У меня нет репутации, чтобы просто добавить комментарий. Я полностью согласен с комментарием Уэйна: с большей властью приходит большая ответственность . GAM могут быть очень гибкими, и часто мы получаем / видим сумасшедшие сложные сглаживатели . Затем я настоятельно рекомендую исследователям ограничить степени свободы (количество узлов) гладких функций и проверить различные модельные структуры (взаимодействия / отсутствия взаимодействий и т. Д.).

GAM можно рассматривать между подходами, основанными на моделях (хотя граница нечеткая, я бы включил GLM в этой группе), и подходами, основанными на данных (например, искусственные нейронные сети или случайные леса, которые предполагают полностью взаимодействующие эффекты нелинейных переменных). В соответствии с этим, я не полностью согласен с Хасти и Тибширани, потому что ГАМам по-прежнему нужна детективная работа (надеюсь, никто не убивает меня за такие слова).

С экологической точки зрения, я бы рекомендовал использовать мошенничество с пакетом R , чтобы избежать этих ненадежных переменных сумасшедших сложных сглаживателей . Он был разработан Натальей Пья и Саймоном Вудом и позволяет ограничивать гладкие кривые желаемыми формами (например, унимодальными или монотонными) даже для двусторонних взаимодействий. Я думаю, что GLM становится незначительной альтернативой после ограничения формы гладких функций, но это только мое личное мнение.

Пя Н., Вуд С.Н., 2015. Аддитивные модели с ограниченными формами. Стат. Вычи. 25 (3), 543–559. 10,1007 / s11222-013-9448-7

Rafa_Mas
источник