Эквивалентность наименьших квадратов и MLE в гауссовой модели

Я новичок в машинном обучении и пытаюсь научиться этому сам. Недавно я читал некоторые конспекты лекций и у меня возник основной вопрос.

Слайд 13 говорит, что «Оценка по методу наименьших квадратов такая же, как и оценка максимального правдоподобия по гауссовой модели». Кажется, это что-то простое, но я не могу этого увидеть. Может кто-нибудь объяснить, что здесь происходит? Мне интересно увидеть математику.

Позже я попытаюсь увидеть вероятностную точку зрения на регрессию Риджа и Лассо, поэтому, если есть какие-либо предложения, которые мне помогут, это также будет высоко оценено.

regression bayesian least-squares Энди
источник

Целевая функция внизу с. 13 является просто постоянным кратным (

) целевой функции в нижней части р. 10. MLE минимизирует первое, в то время как наименьшие квадраты минимизируют второе, QED.

n

$n$

whuber

@whuber: Спасибо за ваш ответ. Что я хотел знать, так это как MLE выполняет минимизацию.

Энди

Вы имеете в виду механику или концептуально?

whuber

@whuber: оба! Если бы я мог видеть эту математику, это тоже поможет.

Энди

Ссылка не работает; отсутствие полной ссылки и большего контекста для цитаты затрудняет просто удаление ссылки или поиск альтернативного источника для нее. Достаточно ли слайда 13 этой ссылки? --- cs.cmu.edu/~epxing/Class/10701-10s/recitation/recitation3.pdf

Восстановить Монику

Ответы:

В модели

$Y = X \beta + \epsilon$

где , логарифмическая вероятность для выборки из предметов (до аддитивной постоянной) $\epsilon \sim N(0,\sigma^{2})$ $Y|X$ $n$

\frac{- n}{2} \log (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

рассматривается как функция только , максимизатор это именно то, что минимизирует $\beta$

\sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

это делает ясность эквивалентности?

макрос
источник

Это именно то, что на слайдах, упомянутых в ФП

whuber

Да, я вижу это, но на самом деле они не записывают логарифмическую правдоподобие Гаусса на странице 13, что после этого делает очевидным, что его argmax совпадает с аргументом argmin критериев OLS, поэтому я подумал, что это стоящее дополнение.

Макро

Хороший момент: слайд немного отрывочен с деталями.

whuber

β

$\beta$

L_{2}

$L_{2}$

Аддитивная константаn/2 log(2 *pi)

SmallChess