В линейной регрессии решение Максимизировать правдоподобие (MLE) для оценки имеет следующее решение в закрытой форме (при условии, что A является матрицей с полным рангом столбца):x
x^lin=argminx∥Ax−b∥22=(ATA)−1ATb
Это читается как «найти который минимизирует целевую функцию, ». Хорошая вещь о представлении целевой функции линейной регрессии таким образом состоит в том, что мы можем хранить все в матричной записи и решать вручную для . Как отмечает Алекс Р., на практике мы часто не рассматриваем напрямую, поскольку он неэффективен в вычислительном отношении, а часто не соответствует критериям полного ранга. Вместо этого мы обратимся к псевдообратному Муру-Пенроуза . Детали вычислительного решения для псевдообратного типа могут включать разложение Холецкого или разложение сингулярного значения.x∥Ax−b∥22х лин ( Т ) - 1x^lin(ATA)−1A
Альтернативно, решение MLE для оценки коэффициентов в логистической регрессии:
x^log=argminx∑i=1Ny(i)log(1+e−xTa(i))+(1−y(i))log(1+exTa(i))
где (при условии, что каждая выборка данных хранится построчно):
x представляет вектор представляет коэффициенты регрессии
a(i) - это вектор, представляющий образец / строку в матрице данныхithA
y(i) является скаляром в , а этикетку , соответствующую образца{0,1}ithith
N есть число выборок данных / количество строк в матрице данных .A
Опять же, это читается как «найти который минимизирует целевую функцию».x
Если вы хотите, вы можете сделать еще один шаг и представить в матричной записи следующим образом:x^log
x^log=argminx⎡⎣⎢⎢1⋮1(1−y(1))⋮(1−y(N))⎤⎦⎥⎥[log(1+e−xTa(1))log(1+exTa(1))......log(1+e−xTa(N))log(1+exTa(N))]
но вы ничего не получите от этого. Логистическая регрессия не имеет решения в закрытой форме и не получает тех же преимуществ, что и линейная регрессия, представляя ее в матричной записи. Для решения используются такие методы оценки, как градиентный спуск и метод Ньютона-Рафсона. Используя некоторые из этих методов (например, Ньютона-Рафсона), аппроксимируется и представляется в матричной записи ( см. Ссылку, предоставленную Алексом Р. ).x^logx^log
Ответ @joceratops посвящен проблеме оптимизации максимальной вероятности оценки. Это действительно гибкий подход, который поддается многим типам проблем. Для оценки большинства моделей, включая модели линейной и логистической регрессии, существует другой общий подход, основанный на методе оценки моментов.
Оценщик линейной регрессии также можно сформулировать как корень уравнения оценки:
В этом отношении рассматривается как значение, которое извлекает средний остаток 0. Для такой интерпретации не нужно полагаться на какую-либо основную вероятностную модель. Тем не менее, интересно получить уравнения для оценки для нормальной вероятности, вы увидите, что они принимают именно ту форму, которая показана выше. Максимизация вероятности регулярного экспоненциального семейства для линейной модели (например, линейной или логистической регрессии) эквивалентна получению решений для их балльных уравнений.β
Где имеет ожидаемое значение g ( X i β ) . В оценке GLM g называется обратной функцией связи. В нормальных уравнениях правдоподобия g - 1 - тождественная функция, а в логистической регрессии g - 1 - логит-функция. Более общий подход будет требовать 0 = ∑ n i =Yi g(Xiβ) g g−1 g−1 0=∑ni=1Y−g(Xiβ)
Подход обобщенного оценочного уравнения определил бы линейные модели следующим образом:
источник