Почему методы регрессии методом наименьших квадратов и максимального правдоподобия не эквивалентны, когда ошибки обычно не распределяются?

Название говорит обо всем. Я понимаю, что наименьшие квадраты и максимальное правдоподобие дадут одинаковый результат для коэффициентов регрессии, если ошибки модели будут нормально распределены. Но что произойдет, если ошибки не распределяются нормально? Почему два метода больше не эквивалентны?

Короткий ответ

Плотность вероятности многомерной гауссовской распределенной переменной со средним значением связана с квадратом евклидова расстояние между средним и переменной ( ) или, другими словами, сумма квадратов.$x=(x_1, x_2,...,x_n)$$\mu=(\mu_1,\mu_2,...,\mu_n)$$\vert \mu-x \vert_2^2$

---

Длинный ответ

Если вы умножите несколько гауссовых распределений для ваших ошибок, где вы предполагаете равные отклонения, то вы получите сумму квадратов.$n$

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

или в удобной логарифмической форме:

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

Поэтому оптимизация для минимизации суммы квадратов равна максимизации (логарифмической) вероятности (т. Е. Произведение нескольких гауссовских распределений или многомерного гауссовского распределения).$\mu$

Именно этот вложенный квадрат разности внутри экспоненциальной структуры , которого другие распределения не имеют.$(\mu-x)$$exp\left[ (x_i-\mu)^2 \right]$

---

Сравните, например, со случаем для распределений Пуассона

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

который имеет максимум, когда следующее минимизировано:

$$\sum \mu_j -log(\mu_j) x_{ij}$$

который другой зверь.

---

Кроме того (история)

История нормального распределения (игнорирование перехода deMoivre к этому распределению как приближения для биномиального распределения) фактически является обнаружением распределения, которое делает MLE соответствующим методу наименьших квадратов (а не методом наименьших квадратов, являющимся методом который может выразить MLE нормального распределения, сначала появился метод наименьших квадратов, затем - распределение Гаусса)

Обратите внимание, что Гаусс, соединяя «метод максимального правдоподобия» с «методом наименьших квадратов», придумал «гауссово распределение», , как единственное распределение ошибок, которое приводит нас к сделать эту связь между двумя методами.$e^{-x^2}$

Из перевода Чарльза Генри Дэвиса (Теория движения небесных тел, движущихся вокруг Солнца в конических сечениях. Перевод Гаусса "Theoria motus", с приложением) ...

Гаусс определяет:

Соответственно, вероятность присвоения каждой ошибке будет выражаться функцией которую мы будем обозначать .$\Delta$$\Delta$$\psi \Delta$

^{(Курсив сделан мной)}

И продолжает ( в разделе 177 с. 258 ):

... откуда легко сделать вывод, что должно быть постоянной величиной. который мы будем обозначать через . Следовательно, у нас есть обозначает основание гиперболического логарифма через и принимает$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

в конечном итоге (после нормализации и реализации ) в$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

Автор StackExchangeStrike

Потому что MLE выводится из предположения об остаточном распределении.

Обратите внимание, что

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

Не имеет вероятностного значения : просто найдите который минимизирует функцию квадрата потерь. Все детерминировано, и там нет случайных компонентов.$\beta$

Где понятие вероятности и вероятности приходит, мы предполагаем

$$y=X\beta + \epsilon$$

Где мы рассматриваем как случайную величину, а обычно распределяется.$y$$\epsilon$

Наименьшие квадраты и максимальное (гауссовское) соответствие правдоподобия всегда эквивалентны. То есть они минимизируются одним и тем же набором коэффициентов.

Изменение предположения об ошибках изменяет вашу функцию вероятности (максимизация вероятности модели эквивалентна максимизации вероятности ошибки), и, следовательно, функция больше не будет минимизироваться с помощью того же набора коэффициентов.

Таким образом, на практике они одинаковы, но в теории, когда вы максимизируете другую вероятность, вы получите другой ответ, чем наименьшие квадраты

Конкретный пример: предположим, что мы берем простую функцию ошибок p (1) =. 9, p (-9) = .10. Если мы возьмем две точки, то LS просто проведет линию через них. ML, с другой стороны, будет предполагать, что обе точки на одну единицу слишком высоки, и, таким образом, будут проходить линию через точки, сдвинутые на единицу.