Использование MLE против OLS

13

Когда предпочтительнее использовать оценку максимального правдоподобия вместо обычных наименьших квадратов? Каковы сильные и слабые стороны каждого? Я пытаюсь собрать практические знания о том, где использовать каждый в общих ситуациях.

regression maximum-likelihood least-squares user38133
источник

Ответы:

1

Как объяснено здесь , OLS - это просто конкретный экземпляр MLE. Здесь тесно связан вопрос с выводом OLS в терминах MLE.

Условное распределение соответствует вашей модели шума (для OLS: гауссово и одинаковое распределение для всех входов). Есть и другие варианты (t-Student имеет дело с выбросами или позволяет распределению шума зависеть от входных данных )

jpmuc
источник
(-1) Это не правда, что студент Tможет зависеть от борьбы с выбросами . См. Пример здесь или главу 2 этого учебника для более подробного объяснения.
user603
6
OLS - это метод приближения / оценки, минимизирующий расстояние, а ML - метод максимизации «правдоподобия». OLS не нуждается в стохастических допущениях, чтобы обеспечить решение, минимизирующее расстояние, в то время как ML начинает с принятия совместной функции плотности вероятности / массы. Тот факт, что в некоторых обстоятельствах оба обеспечивают одно и то же решение, никоим образом не делает один конкретным экземпляром другого.
Алекос Пападопулос