Почему коэффициенты линейной и логистической регрессии нельзя оценить одним и тем же методом?

9

В книге по машинному обучению я прочитал, что параметры линейной регрессии могут быть оценены (среди других методов) градиентным спуском, в то время как параметры логистической регрессии обычно оцениваются с помощью оценки максимального правдоподобия.

Можно ли объяснить новичку (мне), почему нам нужны разные методы для линейной / логистической регрессии. иначе почему не MLE для линейной регрессии и почему не градиентный спуск для логистической регрессии?

Виктор
источник

Ответы:

19

Ты путаешь яблоки с апельсинами. Это нормально, потому что они оба вкусные.

Оценка максимального правдоподобия - это то, что вы минимизируете, градиентный спуск - это то, как вы его минимизируете.

Почему не MLE для линейной регрессии?

На самом деле, линейная регрессия будет решена с максимальным правдоподобием. Стандартный метод «минимизировать сумму квадратов ошибок» в точности математически эквивалентен оценке максимального правдоподобия с использованием условного нормального распределения.

Почему не градиентный спуск для логистической регрессии?

Вы можете полностью решить логистическую регрессию путем минимизации функции правдоподобия с помощью градиентного спуска. На самом деле это отличное упражнение, и я рекомендую всем сделать это хотя бы один раз.

Градиентный спуск не является стандартным методом. Этот приз достается итеративно пересчитанному методу наименьших квадратов / методу Ньютона , который является улучшением градиентного спуска, который также учитывает вторую производную. Этот метод, как оказалось, обладает гораздо лучшими свойствами, чем градиентный спуск, но его сложнее понять и реализовать.

Мэтью Друри
источник
2
Спасибо. Метод Ньютона такой же, как метод Ньютона Рафсона? Или это что-то другое?
Виктор,
2
Да, я считаю, что те относятся к одной и той же концепции.
Мэтью Друри