Различия между логистической регрессией и персептронами

16

Как я понимаю, перцептрон / однослойная искусственная нейронная сеть с функцией активации логистической сигмоиды - это та же модель, что и логистическая регрессия. Обе модели задаются уравнением:

F(Икс)знак равно11-е-βИкс

Алгоритм обучения персептрона работает в режиме онлайн и определяется ошибками, в то время как параметры для логистической регрессии могут быть изучены с использованием различных пакетных алгоритмов, включая градиентный спуск и BFGS с ограниченной памятью, или онлайн-алгоритм, такой как стохастический градиентный спуск. Есть ли другие различия между логистической регрессией и сигмоидным персептроном? Следует ли ожидать, что результаты логистического регрессора, обученного со стохастическим градиентным спуском, будут аналогичны персептрону?

gavinmh
источник
2
Похоже, что этот вопрос похож, и он, кажется, содержит лучшие ответы :)
Ральф Тигумо

Ответы:

1

Вы упомянули уже важные различия. Так что результаты не должны сильно отличаться.

Майкл Дорнер
источник
1
Это не дает ответа на вопрос. Чтобы критиковать или запросить разъяснения у автора, оставьте комментарий под своим постом.
Сиань
1
На самом деле я попытался ответить на оба вопроса: 1) «Есть ли другие различия между логистической регрессией и сигмоидным персептроном?» и 2) «Следует ли ожидать, что результаты логистического регрессора, обученного со стохастическим градиентным спуском, будут аналогичны персептрону?»
Майкл Дорнер
7
Это разумная позиция, @MichaelDorner. Не могли бы вы немного расширить свой ответ, чтобы прояснить ситуацию?
gung - Восстановить Монику
3

Я считаю, что одно из различий, которое вам не хватает, заключается в том, что логистическая регрессия возвращает принципиальную вероятность классификации, тогда как персептроны классифицируются с жесткой границей.

Это упоминается в вики-статье о полиномиальной логистической регрессии .

YNV
источник
2

На самом деле есть большая существенная разница, которая связана с техническими различиями, которые вы упомянули. Логистическая регрессия моделирует функцию среднего распределения Бернулли как линейное уравнение (среднее значение равно вероятности p события Бернулли). Используя ссылку logit как функцию от среднего значения ( p ), логарифм шансов (log-odds) можно получить аналитически и использовать в качестве ответа так называемой обобщенной линейной модели. Оценка параметров в этом GLM является статистическим процессом, который дает p-значения и доверительные интервалы для параметров модели. Вдобавок к предсказанию, это позволяет интерпретировать модель в причинно-следственной связи. Это то, чего вы не можете достичь с помощью линейного персептрона.

Перцептрон - это процесс обратного инжиниринга логистической регрессии: вместо логита y он принимает обратную логит (логистическую) функцию wx и не использует вероятностные допущения ни для модели, ни для оценки ее параметров. Онлайновое обучение даст вам точно такие же оценки для весов / параметров модели, но вы не сможете интерпретировать их в причинно-следственной связи из-за отсутствия p-значений, доверительных интервалов и, следовательно, базовой вероятностной модели.

Короче говоря, логистическая регрессия - это GLM, который может выполнять прогнозирование и вывод, тогда как линейный Перцептрон может только достигать прогнозирования (в этом случае он будет выполнять то же самое, что логистическая регрессия). Разница между ними также является фундаментальной разницей между статистическим моделированием и машинным обучением.

Digio
источник